【IntermLM2】学习笔记
微调方式
在大模型的下游应用中，可以有两种微调方式
- 增量续训
即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识
使用的数据有：书籍，文章，代码等 - 有监督微调
为了让模型学会理解指令进行对话，或者注入少量的领域知识
使用的数据为高质量的对话和问答的数据
全量参数微调
部分参数微调 （lora等）
扩展上下文长度
必要性：
1. 检索增强生成（RAG）需要检索的时候返回很长的上下文
2. Agent应用时，用户的历史对话数据很长
LLaMA的transformer的更新
- 将 LayerNorm （Ba et al.， 2016） 替换为 RMSNorm （Zhang & Sennrich， 2019）
- 将激活函数设置为 SwiGLU （Shazeer， 2020）
相关文章：
【IntermLM2】学习笔记
微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...
【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】
二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...
JS中常用的几种事件
在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...
Android WebView的使用与后退键处理
目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...
【备忘录】Docker 2375远程端口安全漏洞解决
最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...
343. 整数拆分（力扣LeetCode）
文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...
Spring面试题系列-3
Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...
【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻
导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...
【情感分析概述】
文章目录 一、情感极性分析概述1. 定义2. 情感极性的类别3. 应用场景 二、情感极性分析的技术方法1. 基于规则的方法a. 关键词打分b. 情感词典的使用 2. 基于机器学习的方法a. 监督学习方法b. 深度学习方法 三、Python进行情感极性分析 一、情感极性分析概述 情感极性分析&…...
【御控物联】JavaScript JSON结构转换（12）：对象To数组——键值互换属性重组
文章目录 一、JSON结构转换是什么？二、核心构件之转换映射三、案例之《JSON对象 To JSON数组》四、代码实现五、在线转换工具六、技术资料 一、JSON结构转换是什么？ JSON结构转换指的是将一个JSON对象或JSON数组按照一定规则进行重组、筛选、映射或转换…...
5.6 物联网RK3399项目开发实录-Android开发之U-Boot 编译及使用（wulianjishu666）
物联网入门到项目实干案例下载： https://pan.baidu.com/s/1fHRxXBqRKTPvXKFOQsP80Q?pwdh5ug --------------------------------------------------------------------------------------------------------------------------------- U-Boot 使用 前言 RK U-B…...
Python版【植物大战僵尸 +源码】
文章目录 写在前面：功能实现环境要求怎么玩个性化定义项目演示：源码分享Map地图:Menubar.py主菜单 主函数：项目开源地址 写在前面： 今天给大家推荐一个Gtihub开源项目：PythonPlantsVsZombies，翻译成中就是…...
【明道云】如何让用户可以新增但不能修改记录
【背景】 遇到一个需求场景，用户希望新增数据后锁住数据不让更改。 【分析】 在设计表单时直接将字段设置只读是不行的。字段设置只读将会直接让界面上此字段的前端组件不可编辑。包括新增时也无法填入。显然是不符合需求的。 需要既能新增，新增后又不…...
GPT-1原理-Improving Language Understanding by Generative Pre-Training
文章目录 前言提出动机模型猜想模型提出模型结构模型参数 模型预训练训练的目标训练方式训练参数预训练数据集预训练疑问点 模型微调模型输入范式模型训练微调建议微调疑问点 实验结果分析GPT-1缺陷 前言 首先想感慨一波 这是当下最流行的大模型的的开篇之作，由Op…...
web3.0入门及学习路径
Web3是指下一代互联网的演进形式，它涉及一系列技术和理念，旨在实现去中心化、开放、透明和用户主导的互联网体验。Web3的目标是赋予用户更多的控制权和数据所有权，并通过区块链、加密货币和分布式技术来实现。 一、特点 去中心化࿱…...
MATLAB 自定义中值滤波（54）
MATLAB 自定义中值滤波（54） 一、算法介绍二、算法实现1.原理2.代码一、算法介绍 中值滤波，是一种常见的点云平滑算法，改善原始点云的数据质量问题，MATLAB自带的工具似乎不太友好，这里提供自定义实现的点云中值滤波算法，具体效果如下所示： 中值滤波前： 中值滤波后：…...
harmonyOS的客户端存贮
什么是客户端存贮 在harmonyOS中,客户端存贮是指将数据存贮在本地设备以供应用程序使用; 注: 和feaureAblity搭配使用,content上下文的获取依赖该API如下: // 引入: import featureAbility from ohos.ability.featureAbility;// 使用: let content featureAbility.getConten…...
安科瑞智慧安全用电综合解决方案
概述 智慧用电管理云平台是智慧城市建设的延伸成果，将电力物联网技术与云平台的大数据分析功能相结合，实现用电信息的可视化管理，可帮助用户实现安全用电，节约用电，可靠用电。平台支持web，app，微…...
Web 前端性能优化之二：图像优化
1、图像优化 HTTP Archive上的数据显示，网站传输的数据中，60%的资源都是由各种图像文件组成的。 **图像资源优化的根本思想，可以归结为两个字：压缩。**无论是选取何种图像的文件格式，还是针对同一种格式压缩至更小的…...
android——枚举enum
在Kotlin中，枚举（Enum）是一种特殊的类，用于表示固定数量的常量。它允许你定义一组命名的常量值，这些值在程序中具有固定的意义。Kotlin的枚举功能强大，支持多种特性，如伴生对象、构造函数、属性…...
Day54：WEB攻防-XSS跨站Cookie盗取表单劫持网络钓鱼溯源分析项目平台框架
目录 XSS跨站-攻击利用-凭据盗取 XSS跨站-攻击利用-数据提交 XSS跨站-攻击利用-flash钓鱼 XSS跨站-攻击利用-溯源综合 知识点： 1、XSS跨站-攻击利用-凭据盗取 2、XSS跨站-攻击利用-数据提交 3、XSS跨站-攻击利用-网络钓鱼 4、XSS跨站-攻击利用-溯源综合 漏洞原理…...
2024年MathorCup数学建模思路C题思路分享
文章目录 1 赛题思路2 比赛日期和时间3 组织机构4 建模常见问题类型4.1 分类问题4.2 优化问题4.3 预测问题4.4 评价问题 5 建模资料 1 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 2 比赛日期和时间 报名截止时间：2024…...
HCIP作业
实验要求： 1、R6为ISP，接口IP地址均为公有地址，该设备只能配置IP地址，之后不能再对其进行任何配置； 2、R1-R5为局域网，私有IP地址192.168.1.0/24，请合理分配； 3、R1、R2、R4&#x…...
如何向sql中插入数据-接上一篇《MySQL数据库的下载和安装以及命令行语法学习》续
接上一篇 《MySQL数据库的下载和安装以及命令行语法学习》续https://blog.csdn.net/tiger_web0/article/details/136903805 在SQL中，要向表中添加数据，您通常使用INSERT INTO语句。 以下是如何使用INSERT INTO语句的基本格式和示例： 基本格式…...
简单的HTML
1.HTML介绍 HTML(HyperText Markup Language,超文本标记语言)是用于创建网页的标准标记语言。它使用一系列的元素来描述网页的结构和内容,包括文本、图像、链接、表格等。 1.1HTML基础结构 HTML文件是一种纯文本文件,由一系列的元素构成。每个元素由一对尖括号<>包围,…...
2024最新 maven 高级用法 （概念自己百度）
#B站看视频学不到的知识# 目录 maven 定义和概念 maven是java构建工具。maven通过远程仓库获取和更新jar包，通过坐标来管理jar文件。 maven核心配置文件 config目录下settings.xml 文件，核心配置详解： localRepository 本地仓库地址&…...
【C++】每日一题 12 整数转罗马数字
罗马数字包含以下七种字符： I， V， X， L，C，D 和 M。 字符 数值 I 1 V 5 X 10 L 50 C 100 D 500 M 1000 例如， 罗马数字 2 写做 II ，即为两个并列的 1。12 写做 XII ，即为…...
C++学习建议
C是一门强大且广泛应用的编程语言，特别适合系统级开发、高性能应用和游戏引擎等场景。如果你准备深入学习C，以下是一些关键点和学习路径建议： 1. **基础语法**：首先掌握C的基础语法，如变量声明与赋值、数据类型、运算…...
python实现泊松回归
1 什么是基于计数的数据？ 基于计数的数据包含以特定速率发生的事件。发生率可能会随着时间的推移或从一次观察到下一次观察而发生变化。以下是基于计数的数据的一些示例： 每小时穿过十字路口的车辆数量每月去看医生的人数每月发现的类地行星数量 计数数…...
软件测试-进阶篇
目录 测试的分类1 按测试对象划分1.1 界面测试1.2 可靠性测试1.3 容错性测试1.4 文档测试1.5 兼容性测试1.6 易用性测试1.7 安装卸载测试1.8 安装测试1.9 性能测试1.10 内存泄漏测试 2 按是否查看代码划分2.1 黑盒测试（Black-box Testing）2.2 白盒测试&a…...
企业的网站品牌推广/seo网站优化培训多少价格
前面几篇文章介绍了MicroPython的一些基础功能，今天实现一个稍微有趣些的功能：获取天气情况。本以为很容易实现，结果还是遇到了一些坑。把实现的整个过程分享给大家。一种简单的实现方式是通过天气预报网站提供的API，直接获取结构…...
wordpress如何实时刷新数据库/河北seo平台
最近在数据库优化的时候，看到一些表在设计上使用了text或者blob的字段，单表的存储空间已经达到了近100G，这种情况再去改变和优化就非常难了一、简介为了清楚大字段对性能的影响，我们必须要知道innodb存储引擎的处理方式࿱…...
网站专题分类/现在怎么做网络推广
三期总目录链接 目录 一、基本理论 （一）、客户机地址限制 （二）、用户授权限制 二、实验要求 1、默认情况 2、只允许客户端192.168.1.200访问网站应该如何修改配置文件并验证 3、进行用户授权配置，允许aaa 和bo…...
太原网站建设口碑推荐/嘉兴网络推广
1.更改java文件大小设置Window->preferences->General->Appearance->Colors and Fonts->Java->Java Editor Text Font->右边按钮Change 英文版默认的是Courier New 常规 102.更改jsp文件大小设置（此设置也同事更改其他类型文件的字体大小&…...
wap网站如何做/自己怎么做网址开网站
捕抓信号 如果信号的处理动作是用户自定义函数，在信号递达时就调用这个函数，称为捕抓信号。 除了SIGSTOP和SIGKILL进程能够忽略或捕获其他的全部信号。 注：信号可从两个不同分类角度对信号进行分类，1）可靠性方面&#…...
自己买服务器搭建网站/关键词难易度分析
从用户角度来说，交互设计是一种如何让产品更易用，让用户更愉悦的产品设计。它致力于了解目标用户和他们的期望，了解用户在同产品交互时彼此的行为，了解用户心理和行为特点。 以下就介绍一下在交互设计中一些通用的原则。…...