当前位置： 首页 > news >正文

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

news 文章来源：https://blog.csdn.net/abc13526222160/article/details/141167036 2025/1/15 18:01:09
基于LLM生成真实世界数据的合成问答数据！

文章目录

  • 一. 基于LLM生成真实世界数据的合成问答数据！
    • 1. 概述(Overview)
    • 2. 场景(Scenario)
      • 2.1. 概述
        • 2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）
        • 2.1.2. 第2阶段：数据增强（可选）（Data Augmentation (Optional)）
      • 2.2. 客户应用示例（Customer application examples）
  • 二. 第1阶段：构建种子数据集
    • 2.1. PDF
    • 2.2. CSV
  • 三. 第二阶段. 数据扩充（可选）
    • 3.1. [Evolve-Instruct（进化指令）](evolve-instruct/README.md)
    • 3.2. [GLAN (广义指令调优)](glan-instruct/README.md)
  • 四. 参考文献

本动手实验旨在通过演示如何从复杂的非结构化数据中创建或增强问答数据集，以缓解一些难题，基于真实场景假设。该示例旨在为开发人员和数据科学家以及相关领域的从业者提供分步指南，以便他们在一些指导下进行尝试。

一. 基于LLM生成真实世界数据的合成问答数据！

1. 概述(Overview)

对于大语言模型（LLM）或小型语言模型（SLM）的微调、RAG或评估，通常需要从真实世界的原始数据中生成问答格式的数据。然而，当需要从头创建数据集而非使用现成的数据集时，您将面临诸多挑战。

本次动手实验旨在通过展示 如何从复杂的非结构化数据中创建或增强问答数据集来减轻部分工作负担，并假设这是一个真实的场景。该示例旨在为开发者和数据科学家以及相关领域的从业者提供逐步指导，使他们在稍许帮助下也能尝试完成。

2. 场景(Scenario)

2.1. 概述

我们旨在通过微调或RAG来提高模型的性能，提供高质量的数据集。然而，没有预先存在的数据集；我们只有 PDF、CSV和TXT 等格式的未处理原始数据。这些原始数据包括

相关文章：

『大模型笔记』基于LLM生成真实世界数据的合成问答数据！

基于LLM生成真实世界数据的合成问答数据！ 文章目录 一. 基于LLM生成真实世界数据的合成问答数据！1. 概述(Overview)2. 场景(Scenario)2.1. 概述2.1.1. 第1阶段：构建种子数据集（Stage 1. Constructing a seed dataset）2.1.2. 第2阶段：数据增强（可选）（Data Augmentation…...

编程日记 2024/8/16 4:52:58

一个使用Python和`scikit-learn`库实现KMeans聚类算法的简单示例

一个使用Python和scikit-learn库实现KMeans聚类算法的简单示例。首先，请确保您已经安装了scikit-learn库。如果没有安装，可以通过pip安装它： pip install scikit-learn下面是一个简单的例子，展示如何使用scikit-learn中的KMeans进…...

编程日记 2024/8/16 4:49:54

记录一下vue2和vue3中如何配置keep-alive及写法上的差异

应用场景 跳转下一个页面后，返回当前页面，或者在多个页面之间切换，保留页面中的所有状态，常见的就是填写到一半的表单。h5的tabbar页面缓存，避免重复加载数据。 主要实现思路 这个东西很常见，动态路由一…...

编程日记 2024/8/16 4:48:53

面试题：Rabbitmq怎么保证消息的可靠性?

1.消费端消息可靠性保证： 消息确认（Acknowledgements）：(自动(默认),手动) 消费者在接收到消息后，默认情况下RabbitMQ会自动确认消息（autoAcktrue）。为保证消息可靠性，可以设置auto…...

编程日记 2024/8/16 4:45:50

性能测试工具之JMeter

JMeter Apache JMeter应用程序是开源软件，是一个100%纯Java应用程序，旨在负载测试功能行为和衡量性能。它最初是为测试Web应用程序而设计的，但后来扩展到其他测试功能。 JMeter是一个免费、开源、跨平台的性能测试工具，于20世纪90年代后期面世。这是一个成熟、健全且具有…...

编程日记 2024/8/16 4:43:48

SQL Zoo 9-.Window functions

以下数据均来自SQL Zoo 1.Show the lastName, party and votes for the constituency S14000024 in 2017.（显示2017年选区“S14000024”的姓氏、政党和选票） SELECT lastName, party, votesFROM geWHERE constituency S14000024 AND yr 2017 ORDER BY…...

编程日记 2024/8/16 4:42:47

智能化清理C盘的方法 小白也可以轻松清理C盘了 不再担心误删文件

智能化清理C盘的方法 小白用户也可以轻松清理C盘了 不再担心误删文件。对于电脑小白来说，C盘清理是一个大大的问题，因为大家都不知道C盘里有哪些文件可以删除，哪些不能删除，所以就直接的导致大家不可能去清理c盘垃圾。 就算是C盘…...

编程日记 2024/8/16 4:39:43

在c#中常用的特性

在C#中，特性（Attributes）是一种将元数据应用于程序实体（如类、方法、属性等）的方式。这些元数据可以在编译时和运行时被读取，常用于配置、自定义行为、装饰器模式等场景。以下是一些C#中常用的特性&#xf…...

编程日记 2024/8/16 4:38:41

Polars简明基础教程十二：可视化(二)

设置绘图后端 我们可以使用 hv.extension 更改绘图后端。但是，我们不在此处运行此单元格，因为它会导致下面的 Matplotlib/Seaborn 图表无法渲染。 注释： hvPlot 利用 HoloViews 库来构建图表，并且可以使用多个后端进行渲染&…...

编程日记 2024/8/16 4:37:39

python 使用正则表达式判断图片路径是否是超链接

在Python中，判断一个给定的字符串（假设为图片路径）是否是网页链接（URL），你可以通过检查该字符串是否符合URL的基本格式来实现。虽然这个方法不能保证链接一定指向图片，但它能判断该字符串是否是…...

编程日记 2024/8/16 4:34:35

【学习笔记】Day 14

一、进度概述 1、《地震勘探原理》第七章 二、详情 地震波动力学是相对于运动学而言的。运动学主要研究波的传播规律，其主要特征是分析、研究波的传播路径。传播速度。旅行时间等。地震波动力学则主要从能量的角度研究地震波的特征，如波的振幅、波形、频…...

编程日记 2024/8/16 4:33:33

使用SSL认证访问操作手册

完整版，从证书生成到使用 【金山文档 | WPS云文档】 使用SSL认证访问操作手册 https://kdocs.cn/l/cuxGfHD17eEw...

编程日记 2024/8/16 4:28:27

网络协议 十一 ARP,RARP，icmp，websocket,webservice，HTTPDNS,FTP,邮件相关的协议， SMTP,POP,IMAP

ARP 已知IP 求 MAC 的过程 RARP 已知MAC 求 IP 的过程，已被DHCP取代 ICMP websocket 协议，html5中提出的前端使用协议 webservice 技术，已过时 HTTPDNS 之前我们要获得 某一个域名的 IP ，要通过DNS协议 去 运营商的ISP 查询&…...

编程日记 2024/8/16 4:27:25

浏览器插件利器--allWebPluginV2.0.0.16-Stable版发布

allWebPlugin简介 allWebPlugin中间件是一款为用户提供安全、可靠、便捷的浏览器插件服务的中间件产品，致力于将浏览器插件重新应用到所有浏览器。它将现有ActiveX控件直接嵌入浏览器，实现插件加载、界面显示、接口调用、事件回调等。支持Chrome、Firefo…...

编程日记 2024/8/16 4:25:22

设计模式22-迭代器模式

设计模式22-迭代器模式 迭代器模式（Iterator Pattern）动机定义结构定义结构结构图解释注意事项 C代码推导多态属性（虚函数）实现迭代器1. **返回值问题**2. **对象切割问题**3. **内存管理问题**4. **迭代器生命周期问题**5. **接口…...

编程日记 2024/8/16 4:24:21

编程深水区之并发⑥：C#的线程池

绝大多数情况下，我们都应该使用CLR线程池，而不是直接操作Thread，本章节介绍直接操作线程池的ThreadPool，但实际开发中也很少直接使用它。 一、CLR和线程池 1.1 CLR的主要工作 CLR（Common Language Runtime&#xff0…...

编程日记 2024/8/16 4:23:20

KCTF 闯关游戏：1 ~ 7 关

前言 看雪CTF平台是一个专注于网络安全技术竞赛的在线平台，它提供了一个供网络安全爱好者和技术专家进行技术交流、学习和竞技的环境。CTF（Capture The Flag，夺旗赛）是网络安全领域内的一种流行竞赛形式，起源于1996年…...

编程日记 2024/8/16 4:19:14

【海贼王航海日志：前端技术探索】一篇文章带你走进JavaScript(二)

目录 1 -> 基础数据类型 1.1 -> 条件语句 1.1.1 if语句 1.2 -> 分支语句 1.2.1 -> switch语句 1.3 -> 循环语句 1.3.1 -> while循环 1.3.2 -> continue 1.3.3 -> break 1.3.4 -> for循环 1.4 -> 数组 1.4.1 -> 创建数组 1.4.2 -…...

编程日记 2024/8/16 4:18:13

鸿蒙内核源码分析(进程管理篇) | 谁在管理内核资源？

官方基本概念 从系统的角度看，进程是资源管理单元。进程可以使用或等待CPU、使用内存空间等系统资源，并独立于其它进程运行。 OpenHarmony内核的进程模块可以给用户提供多个进程，实现了进程之间的切换和通信，帮助用户管理业务程序…...

编程日记 2024/8/16 4:16:10

SQLALchemy 自动从数据库中映射

SQLALchemy 自动从数据库中映射 使用`automap_base`注意事项在SQLAlchemy中，自动从数据库中映射表到Python类（也称为“反射”或“逆向工程”）是一个常见的需求，尤其是在你已经有了一个现有的数据库，并希望快速地为它创建一个ORM模型时。SQLAlchemy提供了工具来帮助你完成这…...

编程日记 2024/8/16 4:13:06

C++ stack与queue的使用与简单实现

目录 0. 适配器 1. stack的简要介绍 2. stack的简单使用 3. queue的简要介绍 4. queue的简单使用 STL标准库中stack和queue的底层结构 deque简单介绍 5. stack的模拟实现 6. queue的模拟实现 0. 适配器 在文章开始前我们先了解一下适配器的概念 适配器是一种设计模式(设计…...

编程日记 2024/8/16 4:12:05

【CS.DB】数据库-关系型数据库-MySQL-3.3.创建和管理表

1000.04.CS.DB-Database-Relational-MySQL-3.3.创建和管理表-Created: 2023-03-08.Thursday17:39 1. 创建和管理表 在 MySQL 中，创建和管理表是数据库操作的基础。以下是创建和管理表的主要步骤和方法。 1.1 定义表结构 定义表结构包括指定表的名称、列的名称和数…...

编程日记 2024/8/16 4:11:01

Ceph分布式存储系统的搭建与使用

目录 一. 环境准备 二. 安装Docker 三. admin节点安装cephadm 四. admin节点给另外四个主机导入镜像 五. 向集群中添加节点 六. Ceph使用 列出可用设备 清除设备数据---针对有数据的设备 检查 OSD 状态 Ceph 集群中添加一个新的 OSD 查看集群的健康状态 指定MDS 列…...

编程日记 2024/8/16 4:10:00

通过Redsocks将Kali Linux的流量进行代理

Redsocks 是一个代理重定向工具，可以将流量通过 SOCKS 或 HTTP 代理传递。你可以使用它在 Kali Linux 中将流量通过代理服务器。以下是设置和使用 Redsocks 的步骤： 1. 安装 Redsocks Redsocks 通常在 Kali Linux 上不可用，需要手动安装。首…...

编程日记 2024/8/16 4:07:56

基于java五台山景点购票系统(源码+论文+部署讲解等)

博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台的优…...

编程日记 2024/8/16 4:06:56

基于springboot的网上服装商城

TOC springboot182基于springboot的网上服装商城 第一章 课题背景及研究内容 1.1 课题背景 信息数据从传统到当代，是一直在变革当中，突如其来的互联网让传统的信息管理看到了革命性的曙光，因为传统信息管理从时效性，还是安全性…...

编程日记 2024/8/16 4:05:54

QT、C++简单界面设计

#include "mywidget.h"MyWidget::MyWidget(QWidget *parent): QWidget(parent) {---------------------窗口设置----------------------this->setWindowTitle("南城贤子摄影工作室");//设置窗口标题this->setWindowIcon(QIcon("d:\\Pictures\\C…...

编程日记 2024/8/16 4:04:53

代码随想录算法训练营43期 | Day 10——栈与队列part1

代码随想录算法训练营 代码随想录算法训练营43期 | Day 10232.用栈实现队列225. 用队列实现栈20. 有效的括号1047.删除字符串中的所有相邻重复项 代码随想录算法训练营43期 | Day 10 232.用栈实现队列 class MyQueue { public:stack<int> sIn;stack<int> sOut;My…...

编程日记 2024/8/16 4:02:49

Java中常用的设计模式

一、什么是设计模式 设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程…...

编程日记 2024/8/16 4:01:47

leetcode 11-20（2024.08.15）

立个flag&#xff0c;1-100题每天分配10题&#xff0c;不会就先空着&#xff08;7&#xff09;。 1. 11&#xff1a;盛最多水的容器 class Solution:def maxArea(self, height: List[int]) -> int:res 0left 0right len(height) - 1while left < right:area (right…...

编程日记 2024/8/16 3:57:43

乌克兰网站后缀/推广产品的方法和步骤

开源操作系统就是公开源代码的操作系统软件&#xff0c;可以遵循开源协议&#xff08;GNU&#xff09;进行使用、编译和再发布。在遵守GNU协议的前提下&#xff0c;任何人都可以免费使用&#xff0c;随意控制软件的运行方式。意思很简单就是系统的源代码是面向用户开放的&#…...

编程日记 2025/1/15 17:42:33

网站建设公司如何拓宽业务/seo关键词排名公司

作者&#xff1a;UncleChen来源&#xff1a;http://unclechen.github.io/最近在工作中遇到写一些API&#xff0c;这些API的请求参数非常多&#xff0c;嵌套也非常复杂&#xff0c;如果参数的校验代码全部都手动去实现&#xff0c;写起来真的非常痛苦。正好Spring轮子里面有一个…...

编程日记 2025/1/15 13:57:00

网站建设实训报告心得体会/社群营销

MySQL - 扩展性 1 概述&#xff1a;人多力量未必大我们应该接触过或者听说过数据库的性能瓶颈问题。对于一个单机应用而言&#xff0c;提升数据库性能的最快路径就是氪金 - 买更高性能的数据库服务器&#xff0c;只要钱到位&#xff0c;性能不是问题。 但是当系统性能增加到一定…...

编程日记 2025/1/15 13:40:48

怎样做软件网站建设/精准营销推广

自从经朋友介绍PerfDog这款移动端测试神器后就一直在使用它测试大型游戏的流程度&#xff0c;前两天使用腾讯视频追剧分享到微信时发现发现的链接直接进入腾讯视频的小程序中&#xff0c;试了多个视频软件皆是如此&#xff0c;于是想要试试用PerfDog测试一下各家视频小程序实际…...

编程日记 2025/1/15 13:32:42

wordpress简约企业主题下载/小广告

由于系统升级为Ubuntu 12.04 LTS版&#xff0c;【Linux菜鸟成长记】系列教程将不再更新&#xff0c;接下来会更新Ubuntu 12.04的新功能和使用方法技巧等文章。故将此系列文章整理存档&#xff0c;供自己和大家使用。遗憾的是未能写下搭建Qt开发环境&#xff0c;接下来会有更新。…...

编程日记 2025/1/15 12:35:48

什么是营销型的网站推广/网站制作公司网站

数据科学项目中使用Python编程语言的每个人的重要文章在Medium上&#xff0c;这个主题没有很好地介绍&#xff0c;因此我决定以一种易于理解的方式概述Python数据结构的时间复杂性。为什么我们需要知道时间复杂性&#xff1f;对于数据科学家程序员而言&#xff0c;为工作选择正…...

编程日记 2025/1/15 11:28:35