当前位置： 首页 > news >正文

『大模型笔记』如何让小型语言模型发挥作用！

news 文章来源：https://blog.csdn.net/abc13526222160/article/details/139800913 2025/2/6 11:55:07
如何让小型语言模型发挥作用！

文章目录

  • 一. 如何让小型语言模型发挥作用！
    • 不可能的可能性
    • 小模型的潜力
    • 创新方法与突破
    • 实践与验证
    • 过滤系统与数据质量
    • 小模型的逐步改进
    • 信息理论蒸馏方法(新工作InfoSum)
    • 总结与展望
    • Infini-Gram与N-gram模型的新时代
    • 后缀数组与高速计算
  • 二. 参考文献

  • 作者主页：https://homes.cs.washington.edu/~yejin/

一. 如何让小型语言模型发挥作用！

在这里插入图片描述

不可能的可能性

好吧，我今天要与你分享一些看似不可能的可能性。去年，有人问Sam Altman，印度的初创企业如何为印度创建基础模型时，他回答说：“不用费心了，这是没有希望的。”哇。首先，我希望印度的初创企业没有因此放弃，也不会放弃。其次，这种对话可能发生在任何地方。在美国的任何大学、初创企业或研究机构，即使它们没有那么多计算资源。所以，这里介绍一种“不可能的蒸馏”方法。如何以环保的方式训练你的小型语言模型，并且效果堪比大型模型。

目前，我们听到的成功配方是极大规模的预训练，然后是极大规模的后训练，如RLHF（人类反馈强化学习）

相关文章：

『大模型笔记』如何让小型语言模型发挥作用！

如何让小型语言模型发挥作用！ 文章目录 一. 如何让小型语言模型发挥作用！不可能的可能性小模型的潜力创新方法与突破实践与验证过滤系统与数据质量小模型的逐步改进信息理论蒸馏方法(新工作InfoSum)总结与展望Infini-Gram与N-gram模型的新时代后缀数组与高速计算二. 参考文献…...

编程日记 2024/6/23 3:09:12

jnp.diag

jnp.diag 是 JAX 库中用于创建对角矩阵或提取对角线元素的函数。具体功能取决于输入的形状： 当输入是一维数组时，jnp.diag 创建一个以该数组为对角线元素的对角矩阵。当输入是二维数组时，jnp.diag 提取并返回对角线元素。 函数签名 jnp.di…...

编程日记 2024/6/23 3:05:08

bert文本分类微调笔记

Bert实现文本分类微调Demo import random from collections import namedtuple 有四种文本需要做分类，请使用bert处理这个分类问题 # 使用namedtuple定义一个类别(Category)，包含两个字段：名称(name)和样例(samples) Category namedtuple(Ca…...

编程日记 2024/6/23 3:04:07

运维：k8s常用命令大全

Kubernetes是一个强大的容器编排平台，不管是运维、开发还是测试或多或少都会接触到，熟练的掌握k8s可大大提高工作效率和强化自身技能。 集群管理 1. 查看集群节点状态: kubectl get nodes 2. 查看集群资源使用情况: kubectl top nodes 3. 查看集群…...

编程日记 2024/6/23 3:02:05

PHP基础之错误与异常

文章目录 1 错误1.1 简介1.2 简单错误处理1.2.1 使用die1.2.2 die和exit区别 1.3 自定义错误处理1.3.1 定义1.3.2 创建错误函数 1.4 触发错误1.5 抑制错误1.5.1 行内错误抑制 2 异常2.1 引言2.2 什么是异常2.3 Try、throw、catch、finally2.4 自定义异常2.5 设置顶层异常处理器…...

编程日记 2024/6/23 3:01:03

详解Spring AOP（一）

目录 1. AOP概述 2.Spring AOP快速入门 2.1引入AOP依赖 2.2编写AOP程序 3.Spring AOP核心概念 3.1切点（PointCut） 3.2连接点（Join Point） 3.3通知（Advice） 3.4切面（Aspect） …...

编程日记 2024/6/23 2:53:56

读者写者问题（读者优先、公平竞争、写者优先）

1.读者优先 当有读者进程进行读时，允许多个读者同时读，但不允许写者写；当有写者进程进行写时，不允许其他写者写，也不允许读者读 读者算法： p(r_mutex); //申请修改read_count if read_count0:p(mutex); …...

编程日记 2024/6/23 2:52:55

Springboot开发之 Excel 处理工具（二）-- Easyexcel

一、Easyexcel 简介 EasyExcel是一个基于Java的Excel处理工具库，它的核心设计理念是快速、简洁，并且能够有效解决处理大文件时的内存溢出问题。使用EasyExcel，开发者可以在几乎不需要考虑性能和内存消耗的情况下，轻松实现Excel文…...

编程日记 2024/6/23 2:47:49

6月27日云技术研讨会 | 中央集中架构新车型功能和网络测试解决方案

会议摘要 “软件定义汽车”新时代下，整车电气电气架构向中央-区域集中式发展已成为行业共识，车型架构的变革带来更复杂的整车功能定义、更多的新技术的应用（如SOA服务化、TSN等）和更短的车型研发周期，对整车和新产品研…...

编程日记 2024/6/23 2:45:47

微信小程序生命周期

微信小程序的生命周期包括两个主要部分：应用生命周期和页面生命周期。下面我将详细介绍它们的具体内容。 应用生命周期 onLaunch： 触发时机：小程序初始化完成时（全局只触发一次）。 用途：通常用于进行一些…...

编程日记 2024/6/23 2:44:46

【JS重点15】原型对象概述

目录 一：构造函数缺陷 二：原型 1 原型是是什么 2 原型对象的作用 3 原型对象this指向问题 4 利用原型对象添加方法 给JS内置构造函数Array添加最大值方法 给JS内置构造函数Array添加求和方法 三：Constructor属性 四：如何…...

编程日记 2024/6/23 2:42:43

Java之Hutool/Guava/Apache Commons工具包项目实践

概述 Hutool是一个Java工具包,提供了丰富的工具类和方法,目的是简化开发任务提高开发效率;适用于需要快速开发和实现多种功能的场景,适合项目需要处理字符串、日期、文件等常见任务时~ toBeBetterJavaer/docs/common-tool/StringUtils.md at master itwanger/toBeBetterJavae…...

编程日记 2024/6/23 2:41:42

哈喽GPT-4o——对GPT-4o 提示词的思考与看法

目录 一、提示词二、常用的提示词案例1、写作助理2、改写为小红书风格3、英语翻译和改写4、论文式回答5、主题解构6、提问助手7、Nature风格润色8、结构总结9、编程助手10、充当终端/解释器 大家好，我是哪吒。 最近，ChatGPT在网络上广受欢迎&#xff0c…...

编程日记 2024/6/23 2:39:37

《计算机英语》 Unit 3 Software Engineering 软件工程

Section A Software Engineering Methodologies 软件工程方法论 Software development is an engineering process. 软件开发是一个工程过程。 The goal of researchers in software engineering is to find principles that guide the software development process and lea…...

编程日记 2024/6/23 2:37:35

2024-6-18(沉默Spring,Springboot)

1.Spring小结 我们最后再来体会一下用 Spring 创建对象的过程： 通过 ApplicationContext 这个 IoC 容器的入口，用它的两个具体的实现子类，从 class path 或者 file path 中读取数据，用 getBean() 获取具体的 bean instance。 那…...

编程日记 2024/6/23 2:35:32

Java热部署：让应用更新如丝般顺滑，告别繁琐重启！

目录 手动启动热部署 自动启动热部署 参与热部署监控的文件范围配置 关闭热部署 什么是热部署？简单说就是你程序改了，现在要重新启动服务器，嫌麻烦？不用重启，服务器会自己悄悄的把更新后的程序给重新加载一遍&…...

编程日记 2024/6/23 2:34:30

微信小程序毕业设计-小区疫情防控系统项目开发实战(附源码+论文)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…...

编程日记 2024/6/23 2:32:28

PyTorch -- RNN 快速实践

RNN Layer torch.nn.RNN(input_size,hidden_size,num_layers,batch_first) input_size: 输入的编码维度hidden_size: 隐含层的维数num_layers: 隐含层的层数batch_first: True 指定输入的参数顺序为： x：[batch, seq_len, input_size]h0：[batc…...

编程日记 2024/6/23 2:30:26

SpringBoot 快速入门（保姆级详细教程）

目录 一、Springboot简介 二、SpringBoot 优点： 三、快速入门 1、新建工程 方式2：使用Spring Initializr创建项目 写在前面： SpringBoot 是 Spring家族中的一个全新框架，用来简化spring程序的创建和开发过程。SpringBoot化繁…...

编程日记 2024/6/23 2:29:24

【第18章】Vue实战篇之登录界面

文章目录 前言一、数据绑定1. 数据绑定2. 数据清空 二、表单校验1. 代码2. 展示 三、登录1.登录按钮2.user.js3. login 四、展示总结 前言 上一章完成用户注册&#xff0c;这一章主要做用户登录。 一、数据绑定 登录和注册使用相同的数据绑定 1. 数据绑定 <!-- 登录表单 -…...

编程日记 2024/6/23 2:26:22

[C++]使用C++部署yolov10目标检测的tensorrt模型支持图片视频推理windows测试通过

【测试通过环境】 vs2019 cmake3.24.3 cuda11.7.1cudnn8.8.0 tensorrt8.6.1.6 opencv4.8.0 【部署步骤】 获取pt模型&#xff1a;https://github.com/THU-MIG/yolov10训练自己的模型或者直接使用yolov10官方预训练模型 下载源码&#xff1a;https://github.com/laugh12321/yol…...

编程日记 2024/6/23 2:25:20

分享uniapp + Springboot3+vue3小程序项目实战

分享uniapp Springboot3vue3小程序项目实战 经过10天敲代码&#xff0c;终于从零到项目测试完成&#xff0c;一个前后端分离的小程序实战项目学习完毕 时间从6月12日 到6月22日&#xff0c;具有程序开发基础&#xff0c;第一次写uniapp,Springboot以前用过&#xff0c;VUE3也…...

编程日记 2024/6/23 2:24:19

Ubuntu 24.04安装zabbix7.0.0图形中文乱码

当zabbix安装完成后&#xff0c;设置中文界面时&#xff0c;打开图形&#xff0c;中文内容会显示方框乱码&#xff0c;是因为服务器字体中没有相关的中文字体&#xff0c;需要更换。 1、找到中文字体&#xff0c;可以在网络上下载《得意黑》开源字体&#xff0c;也可以在windo…...

编程日记 2024/6/23 2:23:17

MybatisPlus 调用 原生SQL

方式一 DemoMapper.java Mapper public interface DemoMapper extends BaseMapper<TableConfig> {Update("${sql}")int createTable(Param("sql") String sql); }测试代码 SpringBootTest class DemoMapperTest {Resourceprivate DemoMapper demo…...

编程日记 2024/6/23 2:22:16

1.SG90

目录 一.实物图 二.原理图 三.简介 四.工作原理 一.实物图 二.原理图 三.简介 舵机&#xff08;英文叫Servo&#xff09;&#xff0c;是伺服电机的一种&#xff0c;伺服电机就是带有反馈环节的电机&#xff0c;这种电机可以进行精确的位置控制或者输出较高的扭矩。舵机…...

编程日记 2024/6/23 2:21:15

【yolov8语义分割】跑通：下载yolov8+预测图片+预测视频

1、下载yolov8到autodl上 git clone https://github.com/ultralytics/ultralytics 下载到Yolov8文件夹下面 另外&#xff1a;现在yolov8支持像包一样导入&#xff0c;pip install就可以 2、yolov8 语义分割文档 看官方文档&#xff1a;主页 -Ultralytics YOLO 文档 还能切…...

编程日记 2024/6/23 2:20:13

基于STM8系列单片机驱动74HC595驱动两个3位一体的数码管

1&#xff09;单片机/ARM硬件设计小知识&#xff0c;分享给将要学习或者正在学习单片机/ARM开发的同学。 2&#xff09;内容属于原创&#xff0c;若转载&#xff0c;请说明出处。 3&#xff09;提供相关问题有偿答疑和支持。 为了节省单片机MCU的IO口资源驱动6个数码管&…...

编程日记 2024/6/23 2:19:11

Jlink下载固件到RAM区

Jlink下载固件到RAM区 准备批处理搜索exe批处理读取bin数据解析调用jlink批处理准备jlink脚本 调用执行 环境&#xff1a;J-Flash V7.96g 平台&#xff1a;arm cortex-m3 准备批处理 搜索exe批处理 find_file.bat echo off:: 自动识别脚本名和路径 set "SCRIPT_DIR%~dp…...

编程日记 2024/6/23 2:16:08

Kotlin基础——Typeclass

高阶类型 如在Iterable新增泛型方法时 interface Iterable<T> {fun filter(p: (T) -> Boolean): Iterable<T>fun remove(p: (T) -> Boolean): Iterable<T> filter { x -> !p(x) } }对应的List、Set实现上述方法时仍需要返回具体的类型 interfac…...

编程日记 2024/6/23 2:14:06

DC-DC 高压降压、非隔离AC-DC、提供强大的动力，选择优质电源芯片-（昱灿）

畅享长续航&#xff0c;尽在我们的充电芯片&#xff01; 无论是手机、平板还是智能设备&#xff0c;长时间使用后电量不足总是令人头疼。然而&#xff0c;我们的充电芯片将为您带来全新的充电体验&#xff01;采用先进的技术&#xff0c;我们的充电芯片能够提供快速而稳定的充电…...

编程日记 2024/6/23 2:12:04

织梦做的网站很老/百度助手下载安装

怎么查看服务器操作系统日志 内容精选换一换在待分析的服务器上安装节点。Web服务器(即安装鲲鹏性能分析工具的服务器)默认安装了节点&#xff0c;如果待分析的服务器与安装工具的服务器是同一个&#xff0c;请跳过该章节。已成功登录系统性能分析。待添加节点的服务器已配置操…...

编程日记 2025/2/6 11:03:35

做网站学好哪些软件/sem和seo的区别

保护模式&#xff08;二&#xff09;——分段机制&#xff0c;系统门 分段机制 分段机制是历史遗留&#xff0c;实际使用的时候尽量不使用&#xff0c;建议少花时间 BASE:OFFSET表示一个地址。BASE、OFFSET都是16位&#xff0c;若将其当作高位、低位地址&#xff0c;能表示4…...

编程日记 2025/2/6 10:05:06

做网站开发多少钱/湖南网站建设推荐

阿里 阿里的开源项目很多&#xff0c;这也跟淘宝正明的开源态度密不可分。有很多重量级的项目&#xff0c;例如LVS、Tengine&#xff0c;或者很有实践价值的中间件&#xff0c;例如 MetaQ(分布式消息系统)、dubbo(RPC框架)、cobar(数据库中间件)&#xff0c;或者是Java世界的工…...

编程日记 2025/2/6 6:54:07

做网络私活的网站/阿里云域名注册查询

/*** Created by Administrator on 2016/3/28.*/objectHelloScala {defmain(args: Array[String]) {//scala项目中对字母大小写非常敏感valmsg"变量";//val类型赋值后不能再重新修改varmst123;// var类型赋值后可以再次修改mst789;//重新赋值//定义函数defmax(a: Int…...

编程日记 2025/2/6 6:17:30

百度地图怎么没有实景导航了/广州抖音seo公司

为什么80%的码农都做不了架构师&#xff1f;>>> 这个东西着挺有意思&#xff0c;用java实现一下 public static void main(String[] args){ printNum(1); } public static void printNum(int i){ System.out.println(i); int n i/(…...

编程日记 2025/2/6 5:25:48

做网站公司在深圳/登录百度账号

2019独角兽企业重金招聘Python工程师标准>>> 在我们了解Task之前&#xff0c;如果我们要使用多核的功能可能就会自己来开线程&#xff0c;然而这种线程模型在.net 4.0之后被一种称为基于“任务的编程模型”所冲击&#xff0c;因为task会比thread具有更小的性能开销&…...

编程日记 2025/2/6 5:08:30