当前位置： 首页 > news >正文

详解大模型微调数据集构建方法(持续更新)

news 文章来源：https://blog.csdn.net/herosunly/article/details/139441555 2024/11/20 13:40:51

  大家好，我是herosunly。985院校硕士毕业，现担任算法t研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. 微调数据集构建方法
    • 2.1 方法一
    • 2.2 方法二
    • 2.3 方法三
    • 2.4 方法四

1. 前言

  随着时间的齿轮转动到2024年，各种行业大模型如雨后春笋般涌现。如何基于基座模型和领域数据构建行业大模型成为了近期研究和落地的热点方向。因此基于大模型进行微调和部署成为了大多数企业的日常操作，但模型微调存在相当的技术门槛，稍有差池或者经验不足极易造成过拟合（严重的灾难性遗忘）、或者欠拟合（无法有效学习特定领域知识）的情形。

在这里插入图片描述

  在之前的文章大模型LoRA微调调参的实战技巧(持续更新)中详细介绍了如何选择合适的超参数。但除了调参以外，其实更重要的是如何科学的构建微调数据集。

2. 微调数据集构建方法

  首先说明的是，本文微调的基座模型主要指代的是开源大模型。一来是考虑到数据安全&#x

相关文章：

详解大模型微调数据集构建方法(持续更新)

大家好，我是herosunly。985院校硕士毕业，现担任算法t研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算…...

编程日记 2024/6/8 12:50:02

自制植物大战僵尸：HTML5与JavaScript实现的简单游戏

引言 在本文中，我们将一起探索如何使用HTML5和JavaScript来创建一个简单的植物大战僵尸游戏。这不仅是一项有趣的编程挑战，也是学习游戏开发基础的绝佳机会。 什么是植物大战僵尸？ 植物大战僵尸是一款流行的策略塔防游戏，玩家需…...

编程日记 2024/6/8 12:49:01

Istio_1.17.8安装

项目背景 按照istio官网的命令一路安装下来，安装好的istio版本为目前的最新版本，1.22.0。而我的k8s集群的版本并不支持istio_1.22的版本，导致ingress-gate网关安装不上，再仔细查看istio的发布文档，如果用istio_1.22版本…...

编程日记 2024/6/8 12:48:00

[数据集][目标检测]室内积水检测数据集VOC+YOLO格式761张1类别

数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：761 标注数量(xml文件个数)：761 标注数量(txt文件个数)：761 标注类别…...

编程日记 2024/6/8 12:46:57

17_Vue高级监听器生命周期Vue组件组件通信

文章目录 1. 数据监听器watch2. Vue生命周期3. Vue组件4. Vue组件通信Appendix 1. 数据监听器watch 首先watch需要单独引 import {watch} from vuewatch函数监听ref响应式数据 watch(监听的内容，监听行为)监听行为默认为(newValue,oldValue) let firstname ref…...

编程日记 2024/6/8 12:45:56

【ROS使用记录】—— ros使用过程中的rosbag录制播放和ros话题信息相关的指令与操作记录

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、rosbag的介绍二、rosbag的在线和离线录制三、rosbag的播放相关的指令四、其他rosbag和ros话题相关的指令总结 前言 rosbag是ROS（机器人操作系统…...

编程日记 2024/6/8 12:44:54

Laravel 富文本内容

Laravel 获取富文本的纯文本内容-CSDN博客 Laravel 富文本内容里面的图片添加前缀URL-CSDN博客 Laravel 富文本图片的style样式删除-CSDN博客. Laravel 获取富文本中的所有图片-CSDN博客 富文本字体font-famly删除 $data preg_replace(/(<[^>])style["\][^"…...

编程日记 2024/6/8 12:42:52

Spark Python环境搭建与优化：深入剖析四个方面、五个方面、六个方面及七个关键要点

Spark Python环境搭建与优化&#xff1a;深入剖析四个方面、五个方面、六个方面及七个关键要点 在大数据处理领域&#xff0c;Apache Spark凭借其出色的性能和灵活性备受瞩目。而要在Python中利用Spark的强大功能&#xff0c;首先需要搭建一个稳定且高效的Spark Python环境。本…...

编程日记 2024/6/8 12:40:50

【微信小程序开发】小程序中的上滑加载更多，下拉刷新是如何实现的？

✨✨ 欢迎大家来到景天科技苑✨✨ &#x1f388;&#x1f388; 养成好习惯&#xff0c;先赞后看哦~&#x1f388;&#x1f388; &#x1f3c6; 作者简介&#xff1a;景天科技苑 &#x1f3c6;《头衔》&#xff1a;大厂架构师&#xff0c;华为云开发者社区专家博主&#xff0c;…...

编程日记 2024/6/8 12:39:49

从 Android 恢复已删除的备份录

本文介绍了几种在 Android 上恢复丢失和删除的短信的方法。这些方法都不能保证一定成功&#xff0c;但您可能能够恢复一些短信或其中存储的文件。 首先要尝试什么 首先&#xff0c;尝试保留数据。如果你刚刚删除了信息&#xff0c;请立即将手机置于飞行模式&#xff0c;方法是…...

编程日记 2024/6/8 12:38:48

如何使用Python中的random模块生成随机数

在Python中&#xff0c;random模块提供了多种用于生成随机数的函数。以下是一些基本示例&#xff1a; 生成随机整数&#xff1a; 使用random.randint(a, b)函数生成一个介于a和b之间的随机整数&#xff08;包括a和b&#xff09;。 python复制代码 import random random_int …...

编程日记 2024/6/8 12:35:45

AI大数据处理与分析实战--体育问卷分析

AI大数据处理与分析实战–体育问卷分析 前言&#xff1a;前一段时间接了一个需求&#xff0c;使用AI进行数据分析与处理&#xff0c;遂整理了一下大致过程和大致简要结果&#xff08;更详细就不方便放了&#xff09;。 文章目录 AI大数据处理与分析实战--体育问卷分析一、数据…...

编程日记 2024/6/8 12:33:43

C++第二十五弹---从零开始模拟STL中的list(下)

✨个人主页&#xff1a; 熬夜学编程的小林 &#x1f497;系列专栏&#xff1a; 【C语言详解】 【数据结构详解】【C详解】 目录 1、函数补充 2、迭代器完善 3、const迭代器 总结 1、函数补充 拷贝构造 思路&#xff1a; 先构造一个头结点&#xff0c;然后将 lt 类中的元…...

编程日记 2024/6/8 12:32:42

STM32/keil把多个c文件编译为静态库lib

把常用的、不经常修改的代码库编译成lib以后&#xff0c;可以加快整个工程的编译速度。 一个常见的应用场景就是&#xff0c;把ST的标准库或HAL库等编译成lib&#xff0c;这样以后再编译整个工程时&#xff0c;就无需再次编译他们了&#xff0c;可以节省编译时间。当然&#x…...

编程日记 2024/6/8 12:31:41

L45---506.相对名次（java)--排序

1.题目描述 2.知识点 &#xff08;1&#xff09;String.join(" ", words) 是 Java 中的一个语法&#xff0c;用于将数组或集合中的元素连接成一个单独的字符串&#xff0c;连接时使用指定的分隔符。这里的 " " 是作为分隔符使用的一个空格字符串。 Strin…...

编程日记 2024/6/8 12:30:40

跨网段路由

跨网段路由通常是指在网络中配置路由&#xff0c;以允许不同子网之间的通信。要设置跨网段的永久路由&#xff0c;取决于你是在操作路由器、交换机这样的网络设备&#xff0c;还是在配置个人计算机&#xff08;如Windows或Linux系统&#xff09;。下面是两种常见情况下的简要指…...

编程日记 2024/6/8 12:28:38

HO-3D 数据集

// 由于非刚体的追踪比较困难&#xff0c;所以看看刚体数据集 HOnnotate: A method for 3D Annotation of Hand and Object Poses // cvpr20https://arxiv.org/abs/1907.01481 https://github.com/shreyashampali/ho3d https://paperswithcode.com/paper/ho-3d-a-mult…...

编程日记 2024/6/8 12:27:37

Elasticsearch 认证模拟题 - 8

一、题目 在集群中输入以下指令&#xff1a; PUT phones/_doc/1 {"brand":"Samsumg","model":"Galaxy S9","features":[{"type":"os", "value":"Android"},{"type":&q…...

编程日记 2024/6/8 12:26:36

【Postman接口测试】第四节.Postman接口测试项目实战（中）

文章目录 前言五、Postman断言 5.1 Postman断言介绍 5.2 响应状态码断言 5.3 包含指定字符串断言 5.4 JSON数据断言六、参数化 5.1 Postman参数化介绍 5.2 Postman参数化实现 5.3 针对项目登录接口参数化实现 总结 前言 五、Postman断言 5.1 Postman断言介…...

编程日记 2024/6/8 12:25:34

Hadoop的Windows环境准备

一、将Hadoop传输到Windows中 1、备份副本 cp -r /opt/softs/hadoop3.1.3/ /opt/softs/hadoop3.1.3_temp 2、删除备份的share目录 cd /opt/softs/hadoop3.1.3_temp rm -rf share/ 3、下载到Windows中 重命名去掉_temp 4、删除备份文件 rm -rf /opt/softs/hadoop3.1.3_t…...

编程日记 2024/6/8 12:23:32

使用亮数据代理IP爬取PubMed文章链接和邮箱地址

&#x1f482; 个人网站:【 摸鱼游戏】【神级代码资源网站】【工具大全】&#x1f91f; 一站式轻松构建小程序、Web网站、移动应用&#xff1a;&#x1f449;注册地址&#x1f91f; 基于Web端打造的&#xff1a;&#x1f449;轻量化工具创作平台&#x1f485; 想寻找共同学习交…...

编程日记 2024/6/8 12:22:31

electron调用dll时应用程序闪退

electron调用dll时&#xff0c;直接闪退&#xff0c;且用如下方式监听无任何输出&#xff1a; window-all-closed 或 will-quit 此时需要检查传给dll的参数及参数类型是否正确&#xff0c;特别是使用ffi-napi时调用dll&#xff0c;使用 ref-napi定义类型&#xff0c;经常容易…...

编程日记 2024/6/8 12:19:29

单片机原理及技术（三）—— AT89S51单片机（二）（C51编程）

一、AT89S51单片机的并行I/O端口 1.1 P0口 AT89S51的P0口是一个通用的I/O口&#xff0c;可以用于输入和输出。每个引脚都可以通过软件控制为输入或输出模式。 1.1.1 P0口的工作原理 P0口的工作原理是通过对P0寄存器的读写操作来控制P0口的引脚。 输出模式&#xff1a;当P0口…...

编程日记 2024/6/8 12:18:26

摄影店展示服务预约小程序的作用是什么

摄影店包含婚照、毕业照、写真、儿童照、工作照等多个服务项目&#xff0c;虽然如今人们手机打开便可随时拍照摄影&#xff0c;但在专业程度和场景应用方面&#xff0c;却是需要前往专业门店服务获取。 除了进店&#xff0c;也有外部预约及活动、同行合作等场景&#xff0c;重…...

编程日记 2024/6/8 12:15:24

【数据分析基础】实验一 Python运算符、内置函数、序列基本用法

一、实验目的 熟练运用Python运算符。熟练运用Python内置函数。掌握Python的基本输入输出方法。了解lambda表达式作为函数参数的用法。掌握列表、元组、字典、集合的概念和基本用法。了解Python函数式编程模式。 二、实验内容&#xff1a; 1. 在命令模式测试如下命令&#x…...

编程日记 2024/6/8 12:14:23

【Redis】构建强韧的远程Redis连接与端口保障机制完美指南

【Redis】构建强韧的远程Redis连接与端口保障机制完美指南 大家好 我是寸铁&#x1f44a; 总结了【Redis】构建强韧的远程Redis连接与端口保障机制完美指南✨ 喜欢的小伙伴可以点点关注 &#x1f49d; 前言 在当今的软件开发领域中&#xff0c;远程访问和操作数据存储是极为常见…...

编程日记 2024/6/8 12:12:22

Flowable项目启动报错#java.time.LocalDateTime cannot be cast to java.lang.String

Flowable 项目启动后报错 flow项目第一次启动创建表成功&#xff0c;但是第二次启动时报错信息如下&#xff1a; 1、Error creating bean with name ‘appRepositoryServiceBean’ defined in class 2、Error creating bean with name ‘flowableAppEngine’: FactoryBean t…...

编程日记 2024/6/8 12:11:21

《数字电路》

问答题4*5 在数字电路中&#xff0c;三极管经常工作在哪两种开关状态&#xff1f; 在数字电路中&#xff0c;三极管经常工作在饱和导通状态和截止状态。 时序电路根据输出信号分为哪两类&#xff1f; 时序电路根据输出信号分为莫尔型和米里型两类。 写出三种以上常用的二-十…...

编程日记 2024/6/8 12:10:20

STM32F103 点亮LED闪烁与仿真

STM32F103 点亮LED闪烁与仿真 今天给大家分享一下STM32 流水灯简单的仿真吧&#xff0c;我感觉这个提供有用的&#xff0c;但是自己也是第一次使用&#xff0c;主要是感觉曲线很高级。在PWM中查看脉宽很有用。 code: led.c #include "led.h" #include "delay…...

编程日记 2024/6/8 12:09:19

阿里云服务器发送邮件失败 Could not connect to SMTP host: smtp.xxx.com, port: 465；

最近做了一个发送邮件的功能&#xff0c; 在本地调试完成后&#xff0c;部署到阿里云服务器就一直报错&#xff0c; Could not connect to SMTP host: smtp.qiye.aliyun.com, port: 465; 网上也搜索了很多的资料&#xff0c;最后花了好几个小时才解决&#xff0c; 报错日志如下…...

编程日记 2024/6/8 12:08:18

关于配色的网站推荐/百度业务员联系电话

mysql插入数据后获得主键 针对自增主键的表&#xff0c;在插入时不需要主键&#xff0c;而是在插入过程自动获取一个自增的主键&#xff0c;比如MySQL&#xff0c; <insert id"add" parameterType"vo.Category" useGeneratedKeys"true" key…...

编程日记 2024/11/20 12:20:30

外海赌博如何做网站的推广/职业教育培训机构排名前十

求助&#xff1a;如何实现不关机SIM卡插拔(不用PUSH式卡座)kenny_nap Post at 2010/12/14 20:27:37有一个平板项目&#xff0c;SIM卡座是侧边&#xff0c;使用频率很高&#xff0c;push式卡座寿命普遍较短&#xff0c;准备使用普通抽屉式卡座&#xff0c;请教各位有什么好的办法…...

编程日记 2024/11/20 11:24:29

vs和dw做网站的区别/怎么制作一个网站

最近3d相册可谓是很火&#xff0c;小编的朋友圈就被刷屏了。再加上后台很多小可爱留言说想要关于3d旋转相册&#xff0c;但是大多数人又不会编程&#xff0c;代码什么的敲敲打打太费劲了&#xff0c;考虑到这些&#xff0c;小编找朋友做了这个相册的代码&#xff0c;一共有两个…...

编程日记 2024/11/20 10:53:50

网站如何测试有无未做链接的文件/2024新闻热点事件

回声状态网络ESN(原理) 结构特点 网络有3层&#xff1a;输入层 - 隐含层 - 输出层...

编程日记 2024/11/20 10:40:35

微商的自己做网站叫什么软件/淘宝指数查询工具

摘要&#xff1a; 2019&#xff0c;相对往年我们会发现今年猎头电话少了&#xff0c;大部分企业年终奖缩水&#xff0c;加薪幅度也不如往年&#xff0c;选择好offer就要趁早&#xff0c;现在开始准备吧&#xff0c;刷一波Java面试题&#xff0c;能回答70%就去BATJTMD大胆试试~2…...

编程日记 2024/11/20 10:31:29

邢台住房和城乡建设部网站/seo培训赚钱

场景 github看到一个Wxpuhser的项目,想知道它的使用场景&#xff0c;如何使用&#xff0c;以及由此引申出来的思考 项目中运行一个任务&#xff0c;对于执行结果需要及时接收到信息&#xff0c;有哪几种备选方案? 方式一&#xff1a;发短信。集成第三方提供的短信接口&…...

编程日记 2024/11/20 9:34:10