当前位置： 首页 > news >正文

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

news 2026/2/8 8:43:26
基于LLM生成真实世界数据的合成问答数据！

文章目录

  • 一. 基于LLM生成真实世界数据的合成问答数据！
    • 1. 概述(Overview)
    • 2. 场景(Scenario)
      • 2.1. 概述
        • 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
        • 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
      • 2.2. 客户应用示例（Customer application examples）
  • 二. 第1阶段：构建种子数据集
    • 2.1. PDF
    • 2.2. CSV
  • 三. 第二阶段. 数据扩充（可选）
    • 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
    • 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
  • 四. 参考文献

本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。

一. 基于LLM生成真实世界数据的合成问答数据！

1. 概述(Overview)

对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。

本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。

2. 场景(Scenario)

2.1. 概述

我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括

相关文章：

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

基于LLM生成真实世界数据的合成问答数据！ 文章目录 一. 基于LLM生成真实世界数据的合成问答数据！1. 概述(Overview)2. 场景(Scenario)2.1. 概述2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）2.1.2. 第2阶段：数据增强（可选）（Data Augmentation…...

编程日记 2024/8/16 4:52:58

一个使用Python和`scikit-learn`库实现KMeans聚类算法的简单示例

一个使用Python和scikit-learn库实现KMeans聚类算法的简单示例。首先，请确保您已经安装了scikit-learn库。如果没有安装，可以通过pip安装它： pip install scikit-learn下面是一个简单的例子，展示如何使用scikit-learn中的KMeans进…...

编程日记 2024/8/16 4:49:54

记录一下vue2和vue3中如何配置keep-alive及写法上的差异

应用场景 跳转下一个页面后，返回当前页面，或者在多个页面之间切换，保留页面中的所有状态，常见的就是填写到一半的表单。h5的tabbar页面缓存，避免重复加载数据。 主要实现思路 这个东西很常见，动态路由一…...

编程日记 2024/8/16 4:48:53

面试题：Rabbitmq怎么保证消息的可靠性?

1.消费端消息可靠性保证： 消息确认（Acknowledgements）：(自动(默认),手动) 消费者在接收到消息后，默认情况下RabbitMQ会自动确认消息（autoAcktrue）。为保证消息可靠性，可以设置auto…...

编程日记 2024/8/16 4:45:50

性能测试工具之JMeter

JMeter Apache JMeter应用程序是开源软件，是一个100%纯Java应用程序，旨在负载测试功能行为和衡量性能。它最初是为测试Web应用程序而设计的，但后来扩展到其他测试功能。 JMeter是一个免费、开源、跨平台的性能测试工具，于20世纪90年代后期面世。这是一个成熟、健全且具有…...

编程日记 2024/8/16 4:43:48

SQL Zoo 9-.Window functions

以下数据均来自SQL Zoo 1.Show the lastName, party and votes for the constituency S14000024 in 2017.（显示2017年选区“S14000024”的姓氏、政党和选票） SELECT lastName, party, votesFROM geWHERE constituency S14000024 AND yr 2017 ORDER BY…...

编程日记 2024/8/16 4:42:47

智能化清理C盘的方法 小白也可以轻松清理C盘了 不再担心误删文件

智能化清理C盘的方法 小白用户也可以轻松清理C盘了 不再担心误删文件。对于电脑小白来说，C盘清理是一个大大的问题，因为大家都不知道C盘里有哪些文件可以删除，哪些不能删除，所以就直接的导致大家不可能去清理c盘垃圾。 就算是C盘…...

编程日记 2024/8/16 4:39:43

在c#中常用的特性

在C#中，特性（Attributes）是一种将元数据应用于程序实体（如类、方法、属性等）的方式。这些元数据可以在编译时和运行时被读取，常用于配置、自定义行为、装饰器模式等场景。以下是一些C#中常用的特性&#xf…...

编程日记 2024/8/16 4:38:41

Polars简明基础教程十二：可视化(二)

设置绘图后端 我们可以使用 hv.extension 更改绘图后端。但是，我们不在此处运行此单元格，因为它会导致下面的 Matplotlib/Seaborn 图表无法渲染。 注释： hvPlot 利用 HoloViews 库来构建图表，并且可以使用多个后端进行渲染&…...

编程日记 2024/8/16 4:37:39

python 使用正则表达式判断图片路径是否是超链接

在Python中，判断一个给定的字符串（假设为图片路径）是否是网页链接（URL），你可以通过检查该字符串是否符合URL的基本格式来实现。虽然这个方法不能保证链接一定指向图片，但它能判断该字符串是否是…...

编程日记 2024/8/16 4:34:35

【学习笔记】Day 14

一、进度概述 1、《地震勘探原理》第七章 二、详情 地震波动力学是相对于运动学而言的。运动学主要研究波的传播规律，其主要特征是分析、研究波的传播路径。传播速度。旅行时间等。地震波动力学则主要从能量的角度研究地震波的特征，如波的振幅、波形、频…...

编程日记 2024/8/16 4:33:33

使用SSL认证访问操作手册

完整版，从证书生成到使用 【金山文档 | WPS云文档】 使用SSL认证访问操作手册 https://kdocs.cn/l/cuxGfHD17eEw...

编程日记 2024/8/16 4:28:27

网络协议 十一 ARP,RARP，icmp，websocket,webservice，HTTPDNS,FTP,邮件相关的协议， SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程，已被DHCP取代 ICMP websocket 协议，html5中提出的前端使用协议 webservice 技术，已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ，要通过DNS协议 去 运营商的ISP 查询&…...

编程日记 2024/8/16 4:27:25

浏览器插件利器--allWebPluginV2.0.0.16-Stable版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品，致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器，实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/8/16 4:25:22

设计模式22-迭代器模式

设计模式22-迭代器模式 迭代器模式（Iterator Pattern）动机定义结构定义结构结构图解释注意事项 C代码推导多态属性（虚函数）实现迭代器1. **返回值问题**2. **对象切割问题**3. **内存管理问题**4. **迭代器生命周期问题**5. **接口…...

编程日记 2024/8/16 4:24:21

编程深水区之并发⑥：C#的线程池

绝大多数情况下，我们都应该使用CLR线程池，而不是直接操作Thread，本章节介绍直接操作线程池的ThreadPool，但实际开发中也很少直接使用它。 一、CLR和线程池 1.1 CLR的主要工作 CLR（Common Language Runtime&#xff0…...

编程日记 2024/8/16 4:23:20

KCTF 闯关游戏：1 ~ 7 关

前言 看雪CTF平台是一个专注于网络安全技术竞赛的在线平台，它提供了一个供网络安全爱好者和技术专家进行技术交流、学习和竞技的环境。CTF（Capture The Flag，夺旗赛）是网络安全领域内的一种流行竞赛形式，起源于1996年…...

编程日记 2024/8/16 4:19:14

【海贼王航海日志：前端技术探索】一篇文章带你走进JavaScript(二)

目录 1 -> 基础数据类型 1.1 -> 条件语句 1.1.1 if语句 1.2 -> 分支语句 1.2.1 -> switch语句 1.3 -> 循环语句 1.3.1 -> while循环 1.3.2 -> continue 1.3.3 -> break 1.3.4 -> for循环 1.4 -> 数组 1.4.1 -> 创建数组 1.4.2 -…...

编程日记 2024/8/16 4:18:13

鸿蒙内核源码分析(进程管理篇) | 谁在管理内核资源？

官方基本概念 从系统的角度看，进程是资源管理单元。进程可以使用或等待CPU、使用内存空间等系统资源，并独立于其它进程运行。 OpenHarmony内核的进程模块可以给用户提供多个进程，实现了进程之间的切换和通信，帮助用户管理业务程序…...

编程日记 2024/8/16 4:16:10

SQLALchemy 自动从数据库中映射

SQLALchemy 自动从数据库中映射 使用`automap_base`注意事项在SQLAlchemy中，自动从数据库中映射表到Python类（也称为“反射”或“逆向工程”）是一个常见的需求，尤其是在你已经有了一个现有的数据库，并希望快速地为它创建一个ORM模型时。SQLAlchemy提供了工具来帮助你完成这…...

编程日记 2024/8/16 4:13:06

论文解读：交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架（二）

HoST框架核心实现方法详解 - 论文深度解读（第二部分） 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章： 论文深度解读 + 算法与代码分析（二） 作者机构： 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题： 人形机器人…...

编程新知 2026/1/20 19:54:35

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2026/1/21 9:06:43

pam_env.so模块配置解析

在PAM&#xff08;Pluggable Authentication Modules&#xff09;配置中&#xff0c; /etc/pam.d/su 文件相关配置含义如下&#xff1a; 配置解析 auth required pam_env.so1. 字段分解 字段值说明模块类型auth认证类模块&#xff0c;负责验证用户身份&am…...

编程新知 2025/10/5 8:09:39

2024年赣州旅游投资集团社会招聘笔试真

2024年赣州旅游投资集团社会招聘笔试真 题 ( 满 分 1 0 0 分 时 间 1 2 0 分 钟 ) 一、单选题(每题只有一个正确答案，答错、不答或多答均不得分) 1.纪要的特点不包括()。 A.概括重点 B.指导传达 C. 客观纪实 D.有言必录 【答案】: D 2.1864年，()预言了电磁波的存在，并指出…...

编程新知 2025/12/10 4:08:53

STM32标准库-DMA直接存储器存取

文章目录 一、DMA1.1简介1.2存储器映像1.3DMA框图1.4DMA基本结构1.5DMA请求1.6数据宽度与对齐1.7数据转运DMA1.8ADC扫描模式DMA 二、数据转运DMA2.1接线图2.2代码2.3相关API 一、DMA 1.1简介 DMA&#xff08;Direct Memory Access&#xff09;直接存储器存取 DMA可以提供外设…...

编程新知 2026/1/26 10:55:51

【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例

文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...

编程新知 2026/1/26 9:48:34

将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？

Otsu 是一种自动阈值化方法&#xff0c;用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理&#xff0c;能够自动确定一个阈值&#xff0c;将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...

编程新知 2026/1/9 19:36:58

【项目实战】通过多模态+LangGraph实现PPT生成助手

PPT自动生成系统 基于LangGraph的PPT自动生成系统&#xff0c;可以将Markdown文档自动转换为PPT演示文稿。 功能特点 Markdown解析&#xff1a;自动解析Markdown文档结构PPT模板分析&#xff1a;分析PPT模板的布局和风格智能布局决策&#xff1a;匹配内容与合适的PPT布局自动…...

编程新知 2026/2/3 22:50:07

Java多线程实现之Callable接口深度解析

Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...

编程新知 2026/1/25 6:36:06

相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）

【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...

编程新知 2025/11/20 7:13:43