当前位置： 首页 > news >正文

12.实战私有数据微调ChatGLM3

news 文章来源：https://blog.csdn.net/YPeng_Gao/article/details/139666140 2024/11/30 5:41:45

实战私有数据微调ChatGLM3

  • 实战私有数据微调ChatGLM3
    • 实战构造私有的微调数据集
      • 基于 ChatGPT 设计生成训练数据的 Prompt
      • 使用 LangChain + GPT-3.5-Turbo 生成训练数据样例
      • 训练数据解析、数据增强和持久化存储
      • 自动化批量生成训练数据集流水线
      • 提示工程（Prompt Engineering）：强化返回格式，不断测试结果
    • 实战私有数据微调 ChatGLM3
      • 使用 QLoRA 小样本微调 ChatGLM3
      • ChatGLM3 微调前后效果对比

实战私有数据微调ChatGLM3

实战构造私有的微调数据集

典型的训练数据集构造流程
在这里插入图片描述
痛点：流程重复繁杂，效率低

基于 GPT 的训练数据集构造流程
在这里插入图片描述
基于 ChatGPT 设计生成训练数据的 Prompt（以中国哲学领域为例）
在这里插入图片描述

基于 ChatGPT 设计生成训练数据的 Prompt

在这里插入图片描述

使用 LangChain + GPT-3.5-Turbo 生成训练数据样例

在这里插入图片描述

训练数据解析、数据增强和持久化存储

在这里插入图片描述
数据增强：构造多样化的提问方式
在这里插入图片描述
在这里插入图片描述

自动化批量生成训练数据集流水线

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提示工程（Prompt Engineering）：强化返回格式，不断测试结果

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

实战私有数据微调 ChatGLM3

使用 QLoRA 小样本微调 ChatGLM3

在这里插入图片描述

ChatGLM3 微调前后效果对比

在这里插入图片描述

在这里插入图片描述
fixed

在这里插入图片描述

相关文章：

12.实战私有数据微调ChatGLM3

实战私有数据微调ChatGLM3 实战私有数据微调ChatGLM3实战构造私有的微调数据集基于 ChatGPT 设计生成训练数据的 Prompt使用 LangChain GPT-3.5-Turbo 生成训练数据样例训练数据解析、数据增强和持久化存储自动化批量生成训练数据集流水线提示工程（Prompt Engineer…...

编程日记 2024/6/14 8:01:10

PHP地方门户分类信息网站源码讯客分类信息系统源码（含手机版）

源码介绍 1.上传程序到网站根目录,访问http://域名/install/index.php 进行安装,不要直接打开网址，先直接安装; 2.安装完成后 后台恢复数据即可 默认帐号密码都是admin http://域名/admin/ 3.不要删除任何文件，因为删除文件或者修改代码可能造成错误 运…...

编程日记 2024/6/14 8:00:08

设计模式 —— 观察者模式

设计模式 —— 观察者模式 什么是观察者模式观察者模式定义观察者模式的角色观察者模式的使用场景观察者模式的实现 被观察者（Subject）观察者（Observer）通知（notify）更新显示（update&#xff09…...

编程日记 2024/6/14 7:59:07

光纤跳线（又称光纤连接器）的种类

光纤跳线（又称光纤连接器），也就是接入光模块的光纤接头，也有好多种，且相互之间不可以互用。SFP模块接LC光纤连接器，而GBIC接的是SC光纤连接器。下面对网络工程中几种常用的光纤连接器进行详细的说明&#x…...

编程日记 2024/6/14 7:56:04

探索Ubuntu：从入门到精通

目录 一、什么是Ubuntu？ 1.1 Ubuntu的定义和背景 1.2 Ubuntu的特点 二、安装Ubuntu 2.1 下载Ubuntu安装镜像 2.2 制作启动盘 2.3 安装Ubuntu 三、初步设置和基本操作 3.1 系统更新 3.2 安装必要软件 3.3 设置和管理用户账户 四、文件和目录管理 4.1 文件管理器 …...

编程日记 2024/6/14 7:55:03

SpringMVC-基础架构

一、什么是MVC 二、什么是SpringMVC 三、SpringMVC的特点 四、配置SpringMVC 简单流程&#xff1a; 总体框架 1.创建pom.xml依赖 <!--打包方式--><packaging>war</packaging><!--依赖--><dependencies><dependency><groupId>org.s…...

编程日记 2024/6/14 7:53:00

《Windows API每日一练》4.1 GDI绘图

本节必须掌握的知识点&#xff1a; GDI原理 GDI函数调用 GDI基本图形 4.1.1 GDI原理 GDI&#xff0c;全称是Graphics Device Interface&#xff08;图形设备接口&#xff09;&#xff0c;是微软Windows操作系统中提供的一套用于渲染图形和格式化文本的API&#xff08;应用程序…...

编程日记 2024/6/14 7:49:57

SQL Server 安装后，服务器再改名，造成名称不一致，查询并修改数据库服务器真实名称

SELECT SERVERNAME -- 1.查询旧服务器名称 SELECT serverproperty(servername) AS new --2.查询新服务器名称 -- 3.更新服务器名称 IF SERVERPROPERTY(servername) <> 新服务器名称替换 BEGIN DECLARE server_name NVARCHAR(128) SET server_name 新服务器…...

编程日记 2024/6/14 7:47:55

单例模式、工厂模式 c++关键字 static

static 关键字的作用&#xff1a; 主要作用在于 控制变量或函数的作用域、生命周期以及它们如何被不同部分的程序访问&#xff0c;从而帮助程序员管理内存、避免命名冲突&#xff0c;并实现特定的设计模式&#xff08;如单例模式&#xff09;。 1. 静态局部变量&#xff1a;当…...

编程日记 2024/6/14 7:45:52

基于文本和图片输入的3D数字人化身生成技术解析

随着虚拟现实、增强现实和元宇宙等技术的飞速发展，对高度逼真且具有表现力的3D数字人化身的需求日益增长。传统的3D数字人生成方法往往需要依赖大量的3D数据集，这不仅增加了数据收集和处理的成本，还限制了生成的多样性和灵活性。为了克服这些挑战，我们提出了一种基于文本提…...

编程日记 2024/6/14 7:43:49

C语言 | Leetcode C语言题解之第150题逆波兰表达式求值

题目&#xff1a; 题解&#xff1a; int evalRPN(char** tokens, int tokensSize) {int n tokensSize;int stk[(n 1) / 2];memset(stk, 0, sizeof(stk));int index -1;for (int i 0; i < n; i) {char* token tokens[i];if (strlen(token) > 1 || isdigit(token[0])…...

编程日记 2024/6/14 7:42:48

API安全性的重要性及实施策略

在当今日益互联的世界中&#xff0c;API&#xff08;应用程序编程接口&#xff09;成为连接不同软件系统的关键桥梁。随着API的使用越来越广泛&#xff0c;其安全性问题也日益凸显。一个不安全的API可能会使企业数据和用户信息面临严重的风险。因此&#xff0c;确保API的安全性…...

编程日记 2024/6/14 7:39:45

现在Java行情不好可以转.net吗？

转向.NET开发可能是一个选择&#xff0c;但要注意以下几点。我这里有一套编程入门教程&#xff0c;不仅包含了详细的视频 讲解&#xff0c;项目实战。如果你渴望学习编程&#xff0c;不妨点个关注&#xff0c;给个评论222&#xff0c;私信22&#xff0c;我在后台发给你。 技术转…...

编程日记 2024/6/14 7:36:42

大文件word生成的处理与解决策略

前言 对于简单word文档的生成导出&#xff0c;java已经有着很多技术来进行处理&#xff0c;在有着相对固定的格式样板下&#xff0c;采用word模板导出相对会是比较好的选择。但是当数据量且包含大量图片后&#xff0c;采用模板导出就显得无力了&#xff0c;模板的缺点是无法应…...

编程日记 2024/6/14 7:35:41

unity3d：GameFramework+xLua+Protobuf+lua-protobuf，与服务器交互收发协议

概述 1.cs收发协议&#xff0c;通过protobuf序列化 2.lua收发协议&#xff0c;通过lua-protobuf序列化 一条协议字节流组成 C#协议基类 CSPacketBase&#xff0c;SCPacketBaseC#用协议基类 proto生成的CS类&#xff0c;基于这两个基类。分别为CSPacketBase是客户端发送至服…...

编程日记 2024/6/14 7:34:39

二刷算法训练营Day30 | 回溯算法(6/6)

目录 详细布置&#xff1a; 1. 回溯总结 2. 332. 重新安排行程 3. 51. N 皇后 4. 37. 解数独 详细布置&#xff1a; 1. 回溯总结 回溯是递归的副产品&#xff0c;只要有递归就会有回溯&#xff0c;所以回溯法也经常和二叉树遍历&#xff0c;深度优先搜索混在一起&#x…...

编程日记 2024/6/14 7:33:38

【车载AI音视频电脑】200万像素迷你一体机

产品主要特点&#xff1a; -设备安装方便简洁&#xff0c;可通过3M胶直接将设备粘 贴到车前挡风玻璃上 -支持IE预览&#xff0c;手机&#xff0c;PAD实时预览&#xff0c; 支持电脑客 户端实时预览功能 -内置2路模拟高清, 每路均可达到200万像素。另 外可扩充2路1080P模拟…...

编程日记 2024/6/14 7:32:37

齐普夫定律在循环神经网络中的语言模型的应用

目录 齐普夫定律解释公式解释图与公式的关系代码与图的分析结论 使用对数表达方式的原因1. 线性化非线性关系2. 方便数据可视化和分析3. 降低数值范围4. 方便参数估计公式详细解释结论 来自&#xff1a;https://zh-v2.d2l.ai/chapter_recurrent-neural-networks/language-model…...

编程日记 2024/6/14 7:31:36

如何在Android Studio上发布Flutter应用

发布Flutter应用到Android平台是一个多步骤的过程&#xff0c;涉及配置应用、生成签名密钥、配置Gradle文件、构建发布版本APK等步骤。本文将详细介绍这些步骤&#xff0c;帮助你顺利发布Flutter应用。 1. 准备你的应用 在发布之前&#xff0c;确保你的应用在开发环境中运行良…...

编程日记 2024/6/14 7:29:33

C++ 字符串处理4-根据指定的分隔符将字符串分割为多个子串根据指定的分隔符将多个子串连接成一个字符串

1. 关键词 C 字符串处理 分割字符串 连接字符串 跨平台 2. strutil.h #pragma once#include <string> #include <vector>namespace cutl {/*** brief The type of vector strings used in this library.**/using strvec std::vector<std::string>;/*** b…...

编程日记 2024/6/14 7:27:32

微信小程序请求request封装

公共基础路径封装 // config.js module.exports {// 测试BASE_URL: https://cloud.chejj.cn,// 正式// BASE_URL: https://cloud.mycjj.com };请求封装 // request.js import config from ../config/baseUrl// 请求未返回时的loading const showLoading () > wx.showLoadi…...

编程日记 2024/6/14 7:23:28

Web前端不挂科：深入探索与实战指南

Web前端不挂科&#xff1a;深入探索与实战指南 在数字化时代的浪潮中&#xff0c;Web前端开发已成为一项炙手可热的技能。然而&#xff0c;对于许多初学者来说&#xff0c;如何避免在Web前端课程中挂科却成为了一道难题。本文将从四个方面、五个方面、六个方面和七个方面&…...

编程日记 2024/6/14 7:22:27

Golang | Leetcode Golang题解之第149题直线上最多的点数

题目&#xff1a; 题解&#xff1a; func maxPoints(points [][]int) (ans int) {n : len(points)if n < 2 {return n}for i, p : range points {if ans > n-i || ans > n/2 {break}cnt : map[int]int{}for _, q : range points[i1:] {x, y : p[0]-q[0], p[1]-q[1]if…...

编程日记 2024/6/14 7:20:25

京准电钟 NTP时间同步服务器助力水库水坝水利自动化建设

京准电钟 NTP时间同步服务器助力水库水坝水利自动化建设 京准电钟 NTP时间同步服务器助力水库水坝水利自动化建设 水库大坝监测系统主要包括渗流监测系统、流量监测系统、雨量监测系统、沉降监测系统组成。每一个监测系统由监测仪器及自动化数据采集装置&#xff08;内置通信装…...

编程日记 2024/6/14 7:19:24

程序员应该具备什么职业素养？

程序员应该有什么职业素养&#xff1f; 作为一个程序员&#xff0c;拥有以下职业素养是非常重要的&#xff1a; 扎实的技术功底&#xff1a;作为程序员&#xff0c;首先要具备扎实的技术基础&#xff0c;包括编程语言、算法、数据结构等方面的知识&#xff0c;能够熟练地解决问…...

编程日记 2024/6/14 7:18:23

linux 安装sftp及使用sftp上传和下载

一、centos7 安装sftp 1.安装 OpenSSH 服务&#xff1a; sudo yum install openssh-server2.启动 SSH 服务&#xff0c;并设置为开机启动&#xff1a; sudo systemctl start sshd sudo systemctl enable sshd3.创建一个新用户&#xff0c;用于SFTP连接&#xff08;替换your_…...

编程日记 2024/6/14 7:17:22

AI虚拟试穿技术：开启高保真、多场景、多样化服装组合的试穿应用

随着电子商务的快速发展，消费者对于在线购物体验的要求越来越高。特别是在服装领域，消费者渴望能够在购买前直观地了解服装的试穿效果。传统的虚拟试穿技术虽然已有一定的发展，但在不同场景下的高保真度和鲁棒性方面仍面临挑战。为此，我们研发了一种全新的AI虚拟试穿技术，…...

编程日记 2024/6/14 7:16:20

数栈xAI：轻量化、专业化、模块化，四大功能革新 SQL 开发体验

在这个数据如潮的时代&#xff0c;SQL 已远远超越了简单的查询语言范畴&#xff0c;它已成为数据分析和决策制定的基石&#xff0c;成为撬动企业智慧决策的关键杠杆。SQL 的编写和执行效率直接关系到数据处理的速度和分析结果的深度&#xff0c;对企业洞察市场动态、优化业务流…...

编程日记 2024/6/14 7:15:19

oppo手机精简包名列表

oppo广告机&#xff0c;coloros为13.0&#xff0c;测试机为oppo a1x 5g。 手机第一次开机后就全屏广告&#xff0c;被恶心了好几个月。现使用universal Android debolater进行卸载测试&#xff0c;其中&#xff1a; 不可卸载的&#xff1a; 开机广告&#xff1a;com.coloros.…...

编程日记 2024/6/14 7:13:18

Cisco Packet Tracer实验（二）

二、用交换机构建 LAN 构建物件如下&#xff1a; 四个PC 两个交换机 一个Multi Switch多功能拓展控制器 连线必须是这个直线&#xff01;&#xff01;&#xff01;不是虚线 最后实现效果如下&#xff1a; 全部的线是绿的&#xff0c;就表示是通的。 尝试一下&#xff0c;看PC…...

编程日记 2024/6/14 7:10:15

wordpress 家教/中国网民博客 seo

学习&#xff1a;我和阿九Azure有约 系列视频教程&#xff08;油管可看&#xff09; 第一节&#xff1a;Subscription是什么&#xff1f; 建立Subscription 不用信用卡也不用电话。 我们还可以用下面方式 第二节&#xff1a;Resource Group 第三节&#xff1a;App Service 免…...

编程日记 2024/11/29 19:12:09

中国建设网网站/网站优化教程

前言&#xff1a; 如果你是想转行做Java又或者你是计算机类的学生想往Java发展&#xff0c;我“墙裂”建议你看完这份良心建议。 首先&#xff0c;我认为你需要对自己以及行业情况有一定认知&#xff1a; 1、你的性格适不适合做这一行&#xff1f; 2、你的学历&#xff1f;学…...

编程日记 2024/11/29 14:37:10

购物商城外贸网站建设/网络推广运营优化

dispaly:inline-block和float:left的区别 dispaly:inline-block 采用行内块元素进行排版&#xff0c;两个行内块元素会留下间隙。 块级元素&#xff1a;独占一行&#xff0c;对宽高的属性值生效。如果不给宽度&#xff0c;块级元素就默认为浏览器的宽度&#xff0c;即就是100…...

编程日记 2024/11/29 14:18:01

微网站是什么意思/账号seo是什么

数组名的指针&#xff0c;即数组首元素地址的指针。即是指向数组的指针。 例&#xff1a;int (*p)[10]; p即为指向数组的指针&#xff0c;又称数组指针。 编辑本段数组指针与指针数组 数组指针是指向数组首元素的地址的指针&#xff0c;其本质为指针&#xff1b; 指针数组是数组…...

编程日记 2024/11/29 14:03:52

旅游网站的建设的文献综述/嘉兴百度seo

单词种类单词符号种别码单词种类单词符号种别码整型常数digit digit*1运算符*20字符串&#xff08;标识符ID&#xff09;letter(letter|digit)*2运算符/21关键字main3运算符22关键字if4运算符>23关键字else5运算符<24关键字do6运算符<25关键字while7运算符26关键字for…...

编程日记 2024/11/29 13:09:46

商标注册在哪个部门申请/网站功能优化

一、概述 推荐系统旨在预测用户可能喜欢什么，尤其是当有很多选择时。他们可以明确地向用户提供这些推荐，或者他们可能会在幕后工作，在不给用户选择的情况下选择要显示的内容。 无论哪种方式，“为什么”都很清楚：它们对某些类型的企业至关重要，因为它们可以让用户接触到他…...

编程日记 2024/11/29 12:20:16