当前位置： 首页 > news >正文

Text2SQL之Vanna优化

news 文章来源：https://blog.csdn.net/qq_44193969/article/details/139753975 2024/10/31 1:24:13

文章目录

  • 前言
  • 一、优化方向
  • 二、干就完了
    • 一次性生成多个Question-SQL对
    • 先生成一个问题，再根据DDL和业务数据生成SQL
  • 总结

前言

前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG

最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。

一、优化方向

既然本质是RAG，那顺着RAG的优化方向走，准没错。

  • 文档增强：
    • 对文档进行摘要：先对摘要进行检索，如果有必要，才深入文档细节
    • 对文档进行QA生成：同时检索文档和生成的QA
    • 数据清洗，去除文档中存在的特殊字符或不相关信息
  • 元数据过滤：例如对query和文档分类，对应类别的query只查找对应类别的文档，能有效提升检索效率和召回率
  • 混合检索：语义检索 + 关键词检索
  • query改写：让LLM对query改写，在嵌入空间中，看似相同的两个问题并不一定很相似
    • 同义词替换：例如，将“LLM”、“大语言模型”和“大模型”标准化为通用术语。
    • 缩写替换
  • query分解：将复杂query分解成多个子问题，逐个进行匹配，然后汇总文档，生成答案
  • HyDE: 用LLM直接生成query的回答，将生成的答案与query 拼接，再进行RAG
  • 文档分块优化：
    • 内容重叠分块&

相关文章：

Text2SQL之Vanna优化

文章目录 前言一、优化方向二、干就完了一次性生成多个Question-SQL对先生成一个问题，再根据DDL和业务数据生成SQL总结前言 前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG 最近也一直在做Text2SQL的优化，于是把自己的一些心得，总…...

编程日记 2024/6/18 2:55:58

船舶行业信息安全解决方案介绍

船舶行业信息安全背景： 近年来随着经济复苏、疫情与国际形势影响国内外船舶海运业务蓬勃发展，在业务量激增的背景下出现多类信息安全事件。其中2017年，马士基集团遭到勒索软件攻击，内部业务系统和码头操作系统均受到严重影响&…...

编程日记 2024/6/18 2:54:57

Typora—适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器

Typora 是一款适用于 Mac 和 Win 系统的优秀 Markdown 文本编辑器，它以其简洁易用的界面和强大的功能受到了众多用户的喜爱。 首先，Typora 的界面设计非常简洁直观，没有过多繁杂的菜单和按钮，让用户能够专注于写作本身。它采用实时…...

编程日记 2024/6/18 2:53:56

产品经理的未来在哪里？

【同学聚会】 医生说：你生病的话可以找我。 老师说：你孩子成绩不好时找你辅导。 律师说：你遇上官司时我帮你。 程序员说：你电脑坏了时我帮你修理。 产品经理说：我……好像无一技之长。（瞬间开始怀疑人…...

编程日记 2024/6/18 2:51:49

火车头采集怎么使用GPT等AI原创文章

火车头采集官方并没有GPT、百度文心一言AI、阿里通义千问AI、Kimi大模型等AI功能，但支持接入插件，可以编写相应人工智能AI原创文章插件（火车头采集支持PHP和c#这2种语言的插件编写），或者导入第三方封装好的GPT等AI原创…...

编程日记 2024/6/18 2:50:48

多元多项式的特征列与零点的关系定理

下面这个定理来自《计算机代数》6.1三角列与特征列（王东明、夏壁灿著） 【定理】 设 C [ C 1 , … , C r ] \mathbb{C }\left\lbrack C_{1},\ldots,C_{r} \right\rbrack C[C1​,…,Cr​]为多项式组 P ⊂ K [ x ] \mathbb{P \subset}\mathcal{K\lbrack}\…...

编程日记 2024/6/18 2:48:46

git - LFS 使用方法

安装Git LFS 访问 Git LFS官网 下载适用于您操作系统的版本。 Linux用户，解压缩下载的.tar.gz文件，并通过终端运行安装脚本。 tar -xvf git-lfs-linux-amd64-vX.Y.Z.tar.gz cd git-lfs-X.Y.Z sudo ./install.sh 初始化Git LFS # 全局启用 git lfs i…...

编程日记 2024/6/18 2:47:44

提高磁盘可靠性的技术：保障数据安全的四大方法

目录 1. 第一级容错技术 磁盘镜像（Mirroring） 工作原理 RAID 1 工作原理 优点 缺点 适用场景 示例 2. 第二级容错技术 概述 RAID 5 RAID 6 优点 缺点 适用场景 3. 基于集群系统的容错技术 概述 Hadoop HDFS Ceph 优点 缺点 适用场…...

编程日记 2024/6/18 2:46:43

CesiumJS【Basic】- #006 浏览器控制台查看位置角度

文章目录 浏览器控制台查看位置角度1 目标 浏览器控制台查看位置角度 1 目标 浏览器控制台查看位置角度...

编程日记 2024/6/18 2:45:42

Mac 终端报错 zsh: command not found: brew 解决方案

Homebrew安装 /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"安装成功后，在终端输入下面命令 brew -v如果成功输出brew版本，则安装成功 关闭终端重新打开终端，报错zsh: comm…...

编程日记 2024/6/18 2:44:41

详解 HBase 的常用 API

一、环境准备 创建一个 Maven 工程并引入依赖 <dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>1.3.1</version> </dependency> <dependency><groupId>org.apach…...

编程日记 2024/6/18 2:43:40

JSR303校验

校验的需求 前端请求后端接口传输参数&#xff0c;需要校验参数。 在controller中需要校验参数的合法性&#xff0c;包括&#xff1a;必填项校验、数据格式校验等在service中需要校验业务规则&#xff0c;比如&#xff1a;课程已经审核过了&#xff0c;所以提交失败。 servi…...

编程日记 2024/6/18 2:38:34

04 远程访问及控制

1、SSH远程管理 SSH是一种安全通道协议&#xff0c;主要用来实现字符界面的远程登录、远程复制等功能。 SSH协议对通信双方的数据传输进行了加密处理&#xff08;包括用户登陆时输入得用户口令&#xff09;。 终端&#xff1a;接收用户的指令 TTY终端不能远程&#xff0c;它…...

编程日记 2024/6/18 2:37:33

[晕事]今天做了件晕事38 shell里的source 点号

今天碰到一个问题脚本里使用点号引入某个文件形式如下&#xff1a; . /tmp/abc但是脚本运行出现错误&#xff0c;一开始还以为是/tmp没有可执行权限&#xff08;https://mzhan017.blog.csdn.net/article/details/112178736#t16&#xff09;&#xff0c;导致abc运行不了。 后来…...

编程日记 2024/6/18 2:35:31

java如何分割字符串

java要实现对字符串的分割&#xff0c;需要用到split语句 语法格式是 str.split(分隔符) 其中 str是字符串 示例代码如下 public class Stringsplit {public static void main(String[] args) {String a"蒸羊羔&#xff0c;蒸熊掌&#xff0c;蒸鹿尾&#xff0c;烧花…...

编程日记 2024/6/18 2:34:30

胡说八道(24.6.12)——数字电子技术以及Modelsim

上回书说到数电中的最常用的表达式——逻辑表达式(由布尔代数组成)以及常用的两种图表——真值表(真值表表示的是所有的输入可能的线性组合以及输出)和卡诺图(卡诺图则是一种化简工具&#xff0c;排除冗余项&#xff0c;合并可合并项)。 今天&#xff0c;先来看看昨天说的基本逻…...

编程日记 2024/6/18 2:33:28

【Android面试八股文】AsyncTask中的任务是串行的还是并行的

文章目录 串行执行并行执行示例代码串行执行（默认）并行执行总结AsyncTask 的任务执行方式可以是串行的，也可以是并行的，这取决于使用的执行器 ( Executor)。 串行执行 默认情况下，AsyncTask 使用的是 SERIAL_EXECUTOR，即任务按顺序一个接一个地执行。这意味着下一个任务…...

编程日记 2024/6/18 2:29:23

无人机RTMP推流EasyDSS直播平台推流成功，不显示直播按钮是什么原因？

互联网视频云平台/视频点播直播/视频推拉流EasyDSS支持HTTP、HLS、RTMP等播出协议&#xff0c;并且兼容多终端&#xff0c;如Windows、Android、iOS、Mac等。为了便于用户集成与二次开发&#xff0c;我们也提供了API接口供用户调用和集成。在无人机场景上&#xff0c;可以通过E…...

编程日记 2024/6/18 2:28:22

经验分享，xps格式转成pdf格式

XPS 是一种电子文档格式、后台打印文件格式和页面描述语言。有时候微软默认打印机保存的是xps格式&#xff0c;我们如何转换为pdf格式呢&#xff0c;这里分享一个免费好用的网站&#xff0c;可以实现。 网站&#xff1a;https://xpstopdf.com/zh/ 截图&#xff1a;...

编程日记 2024/6/18 2:27:20

基于51单片机的音乐彩灯设计

基于51单片机的音乐彩灯设计 &#xff08;程序&#xff0b;原理图&#xff0b;设计报告&#xff09; 功能介绍 具体功能&#xff1a; 由STC单片机ADC0809模块LM386功放模块喇叭音频接口发光二极管电源构成 1.通过音频线输入可以播放电脑、手机、MP3里面的音乐。 2.AD对音频…...

编程日记 2024/6/18 2:26:18

API接口设计的艺术：如何提升用户体验和系统性能

在数字时代&#xff0c;API接口的设计对于用户体验和系统性能有着至关重要的影响。良好的设计可以显著提升应用程序的响应速度、可靠性和易用性。以下是几个关键点&#xff0c;帮助改善API接口的设计&#xff1a; 1. 理解并定义清晰的要求 用户研究&#xff1a;与最终用户进行…...

编程日记 2024/6/18 2:25:17

韩兴国/姜勇团队在《Trends in Plant Science》发表植物根系氮素再分配的观点文章！

氮素是陆地生态系统中的关键限制性营养元素&#xff0c;通过生物固氮和土壤氮供应通常远低高等植物的氮需求。当土壤氮素供应无法充分满足植物茎叶生长需求时&#xff0c;植物会通过自身营养器官&#xff08;如根或根茎&#xff09;再分配来实现氮的内部循环和再利用。尽管植物…...

编程日记 2024/6/18 2:21:11

52.Python-web框架-Django - 多语言编译-fuzzy错误

目录 1.起因 2.原因 3.解决方法 3.1手动移除fuzzy标记 3.2重新生成po文件&#xff0c;并检查是否还存在fuzzy标记 3.3重新编译生成mo文件 1.起因 在Django的国际化和本地化过程中&#xff0c;当你发现某些字段仅显示msgid&#xff0c;而不显示msgstr时&#xff0c;可能是…...

编程日记 2024/6/18 2:20:10

Linux自旋锁

面对没有获取锁的现场&#xff0c;通常有两种处理方式。 互斥锁&#xff1a;堵塞自己&#xff0c;等待重新调度请求自旋锁&#xff1a;循环等待该锁是否已经释放 本文主要讲述自旋锁 自旋锁其实是一种很乐观的锁&#xff0c;他认为只要再等一下下锁便能释放&#xff0c;避免…...

编程日记 2024/6/18 2:19:09

服务器----阿里云服务器重启或关机，远程连接进不去，个人博客无法打开

问题描述 在使用阿里云免费的新加坡服务器时&#xff0c;发现重启或者是关机在开服务器后&#xff0c;就会出现远程连接不上、个人博客访问不了等问题 解决方法 进入救援模式连接主机&#xff0c;用户名是root&#xff0c;密码是自己设置的 点击访问博客查看更多内容...

编程日记 2024/6/18 2:16:06

go 定时任务

在 Go 语言中&#xff0c;可以使用内置的 time 包来实现定时任务。以下是一个简单的示例&#xff1a; go package main import ( "fmt" "time" ) func main() { timer : time.NewTimer(2 * time.Second) <-timer.C fmt.Println(…...

编程日记 2024/6/18 2:15:05

Java Character 类

Java Character 类 Character 类用于对单个字符进行操作。 Character 类在对象中包装一个基本类型 char 的值 char ch a;// Unicode 字符表示形式char uniChar \u039A; // 字符数组char[] charArray { a, b, c, d, e };然而&#xff0c;在实际开发过程中&#xff0c;我们经…...

编程日记 2024/6/18 2:12:02

MQTT协议应用场景

MQTT协议的应用场景非常丰富&#xff0c;特别是在物联网领域。以下是对MQTT协议应用场景的清晰归纳&#xff1a; 1.物联网设备控制和监控&#xff1a;MQTT被广泛应用于物联网设备之间的通信&#xff0c;如智能家居、智能城市和工业自动化等领域。设备可以发布自身状态到特定主题…...

编程日记 2024/6/18 2:11:01

3.4.马氏链-随机游走的常返性

随机游走的常返态 1. 随机游走常返性定义1.1. 随机游走常返值和可能集1.2. 随机游走常返性2. 简单随机游走: 维数与常返性的关系2.1. 简单随机游走2.2. 二维及以下简单随机游走常返, 三维及以上简单随机游走非常返3. 随机游走 ( d ≤ 2 ) (d\leq 2) (d≤2): 常返的充分条件4. 随…...

编程日记 2024/6/18 2:10:00

HOT100与剑指Offer

文章目录 前言一、41. 缺失的第一个正数&#xff08;HOT100&#xff09;二、6. 从尾到头打印链表&#xff08;剑指Offer&#xff09;总结 前言 一个本硕双非的小菜鸡&#xff0c;备战24年秋招&#xff0c;计划刷完hot100和剑指Offer的刷题计划&#xff0c;加油&#xff01; 根…...

编程日记 2024/6/18 2:08:58

wordpress跟php/重庆seo网站收录优化

如果用jquery的话&#xff1a; var lable_a $(li).children(a); lable_a.click(function() { lable_a.css(color, black); $(this).css(color, red); });...

编程日记 2024/10/30 21:15:42

长沙岳麓区做网站/百度搜索推广技巧

对于每一个站长而言&#xff0c;都会遇到要进行网站测试的时候。这个时候&#xff0c;往往需要备份数据库。如果按照一般的操作方式&#xff0c;都是先把数据库导出并备份到本地&#xff0c;然后再服务器上测试。如果一切正常还好&#xff0c;一旦出了问题&#xff0c;就又得把…...

编程日记 2024/10/30 21:05:36

基金会网站建设方案/cps广告是什么意思

最近整理了一份Java学习路线&#xff0c;不过是针对于学习Android的学员写的&#xff0c;当然这份路线图上的知识点肯定有不足的地方&#xff0c;希望大家多提提意见。随着这份学习路线图的整理&#xff0c;以后也会陆陆续续的把每个知识点的学习教程发送到网上~基于Android的J…...

编程日记 2024/10/30 19:29:32

荔湾网站建设公司/天津搜索引擎优化

在刚刚过去的MWC2019上&#xff0c;如果要为无数终端展台总结一个特点&#xff0c;那么可能是这样的&#xff1a;千变万化&#xff0c;各显神通。早先几年&#xff0c;手机行业似乎比拼的是对趋势的跟随能力&#xff0c;行业有清晰的聚焦点&#xff0c;谁能更快跟随主流&#x…...

编程日记 2024/10/30 18:26:57

泰州企业建站程序/产品推广文案范例

您将希望使用LinuxPAM来允许您使用面部识别进行Su/Sudo。我用pythonbash脚本完成了这项工作&#xff1a;https://github.com/lambrou/susentry我已经完成了自述的一部分&#xff0c;并将结合你的问题向你解释。在您需要做的第一件事是制作一个bash脚本来调用python脚本。在#!/b…...

编程日记 2024/10/30 15:56:45

企业网站seo数据/营销型网站分为哪几种

2019独角兽企业重金招聘Python工程师标准>>> 邹建锋&#xff1a;手机游戏系列化运营模式探讨 国内移动市场在爆发式的增长&#xff0c;移动终端在大规模的普及&#xff0c;用户越来越习惯在手机上玩游戏&#xff0c;那么什么样的游戏才能赚钱&#xff1f;该文档…...

编程日记 2024/10/30 14:34:46