当前位置： 首页 > news >正文

大模型RAG性能提升路径

news 文章来源：https://blog.csdn.net/qq_43128256/article/details/137150920 2024/11/19 19:46:25

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

  1. 大模型应用向开发路径：AI代理工作流
  2. 大模型应用开发实用开源项目汇总
  3. 大模型问答项目问答性能评估方法
  4. 大模型数据侧总结
  5. 大模型token等基本概念及参数和内存的关系
  6. 大模型应用开发-华为大模型生态规划
  7. 从零开始的LLaMA-Factory的指令增量微调
  8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
  9. 基于Langchain-chatchat的向量库构建及检索（附代码）
  10. 一文教你成为合格的Prompt工程师
  11. 最简明的大模型agent教程
  12. 批量使用API调用langchain-chatchat知识库能力
  13. langchin-chatchat部分开发笔记（持续更新）
  14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
  15. 大模型RAG性能提升路径

文章目录

  • 大模型相关目录
  • RAG性能提升方案——探索
    • 1. 模型侧性能提升
    • 2.数据侧性能提升
    • 3.系统侧性能提升
    • 4.向量库检索效果提升：

RAG性能提升方案——探索

1. 模型侧性能提升

对相同的检索结果和输入作为拼接测试模型能力
确定性能差距后更换模型、微调模型

2.数据侧性能提升

新增外部信息、提示、工具
需应用思维链（CoT）、agent

3.系统侧性能提升

设计反思+多轮校验的问答机制优化问答能力

4.向量库检索效果提升：

  1. 文档的切分，如何更好的切分文档？对长文档如何更好的处理进行内容提炼
  2. 向量化方法，如何更好的向量化数据？
  3. 相似度阈值的设定，阈值设定低了，可能获取的本地知识库的内容都是和问题不相关的根据默认Prompt的设定会一直得不到结果
  4. 是否应用摘要、多维query等处理策略？

相关文章：

大模型RAG性能提升路径

大模型相关目录 大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步，扬帆起航。 大模型应用向开发路径：AI代理工作流大模型应用开发实用开源项目汇总大模…...

编程日记 2024/3/30 5:30:08

机器视觉学习（九）—— 边缘检测

目录 一、边缘检测 1.1 Canny边缘检测 1.1.1 cv2.Canny函数 1.1.2 Canny边缘检测示例 1.2 角点检测 1.2.1 cv2.goodFeaturesToTrack()函数 1.2.2 OpenCV角点检测示例代码 1.3 直线检测 1.3.1 cv2.HoughLinesP()函数 1.3.2 OpenCV直线检测示例代码 1.4 圆形检测 1.4…...

编程日记 2024/3/30 5:28:07

基于单片机声音分贝采集和显示控制系统设计

**单片机设计介绍，基于单片机声音分贝采集和显示控制系统设计 文章目录 一 概要二、功能设计设计思路 三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机声音分贝采集和显示控制系统设计，主要目标是实现声音分贝的实时采集、处理以及显示…...

编程日记 2024/3/30 5:27:06

CentOS使用Docker部署Halo并结合内网穿透实现公网访问本地博客

文章目录 1. Docker部署Halo1.1 检查Docker版本如果未安装Docker可参考已安装Docker步骤：1.2 在Docker中部署Halo 2. Linux安装Cpolar2.1 打开服务器防火墙2.2 安装cpolar内网穿透 3. 配置Halo个人博客公网地址4. 固定Halo公网地址 本文主要介绍如何在CentOS 7系统使…...

编程日记 2024/3/30 5:26:05

打造高效自动化渗透测试系统：关键步骤与实践

随着当前网络安全威胁的不断扩展与升级，开展渗透测试工作已经成为广大企业组织主动识别安全漏洞与潜在风险的关键过程。然而，传统的人工渗透测试模式对测试人员的专业能力和经验水平有很高的要求，企业需要投入较大的时间和资源才能完成。在此…...

编程日记 2024/3/30 5:25:03

绿联 部署vocechat，搭建私人聊天服务器，用于小型团队和家庭环境

1、镜像 privoce/vocechat-server:latest 2、安装 2.1、基础设置 重启策略：容器退出时总是重启容器。 2.2、网络 桥接即可。 2.3、存储空间 装载路径：/home/vocechat-server/data不可变更，权限读写。 2.4、端口设置 容器端口3000不可变…...

编程日记 2024/3/30 5:24:02

考研数学｜高效刷透汤家凤《1800》经验分享

当然不需要换老师，如果你在基础阶段连汤老师的课都听不进去，那么换其他老师的话，很大可能也是白搭。 如果你现在对于1800还是一筹莫展的话，那么很明显，这反映出前期基础不扎实，没有真正理解和掌握这部分内…...

编程日记 2024/3/30 5:23:01

LLM推理入门指南②：深入解析KV缓存

在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍了两个阶段：单步初始化阶段，即提示的处理阶段，和逐个生成补全词元的多…...

编程日记 2024/3/30 5:22:00

上采样技术在语义分割中的应用

目录 概要 一、概述 二、实现方法 1.转置卷积 2.反池化 3.双线性插值法 三、在经典网络中的的应用 1.U-Net 2.FCN 总结 概要 上采样是用于深度学习中提高语义分割精度的技术，可以实现图像放大和像素级别标注 一、概述 神经网络的基本结构为：…...

编程日记 2024/3/30 5:20:59

linux 组建raid5详细操作

raid5最多运行损坏一个盘，最少3个盘，容量为少一块硬盘的容量之和。 如果硬盘数量较多，比如8块以上，建议用raid6，raid6最多允许两块硬盘损坏。 如果需要 一、安装raid软件 deb包 apt-get install mdadm或dnf包 dnf …...

编程日记 2024/3/30 5:19:58

机器学习概念、步骤、分类和实践

在当今数字化时代，机器学习已经渗透到我们生活的方方面面，从智能手机应用、搜索引擎优化，到自动驾驶汽车、医疗诊断等，其应用无处不在。本文将带您走进机器学习的世界，了解它的基本概念、步骤、分类以及实践应用。 一…...

编程日记 2024/3/30 5:18:57

钉钉服务端API报错 错误描述: robot 不存在；解决方案:请确认 robotCode 是否正确

problem 调用钉钉服务端API，机器人发送群聊消息，后台返回报错信息: 钉钉服务端API报错 错误描述: robot 不存在；解决方案:请确认 robotCode 是否正确； reason 定位: 登录后台，查看机器人是存在查看机器人调用权限接…...

编程日记 2024/3/30 5:17:56

Linux 开发环境以及编译链接

再谈编译链接 C函数重载与编译链接-CSDN博客 之前我已经写过文章简单介绍了编译链接要做的一些操作。现在为了能更好的理解我们平时的开发环境，我会在Linux系统上完整地走一遍流程。 环境描述 我们使用普通用户在Linux上进行操作，先写一段测试代码。 …...

编程日记 2024/3/30 5:16:55

SmartChart的部署以及可能遇见的报错解决方案

简介 数据可视化是一种将数据转化为图形的技术，可以帮助人们更好地理解和分析数据。但是，传统的数据可视化开发往往需要编写大量的代码，或者使用复杂的拖拽工具，不仅耗时耗力，而且难以实现个性化的需求。有没有一种更…...

编程日记 2024/3/30 5:14:52

【Node.js从基础到高级运用】十九、Node.js 捕获错误之“未捕获的异常”

引言 在 Node.js 应用程序中，错误处理是保证应用稳定性和可靠性的关键部分。特别是“未捕获的异常”（uncaught exceptions），如果不妥善处理，很可能会导致整个进程崩溃。在本文中，我们将探讨如何在 Node.js …...

编程日记 2024/3/30 5:13:50

vue 计算属性

基础示例​ 模板中的表达式虽然方便，但也只能用来做简单的操作。如果在模板中写太多逻辑，会让模板变得臃肿，难以维护。比如说，我们有这样一个包含嵌套数组的对象： const author reactive({name: John Doe,books: [V…...

编程日记 2024/3/30 5:11:48

RedissonLock-tryLock-续期

redisson版本3.16.6 1.什么是看门狗 Redisson提供的分布式锁是支持锁自动续期的，也就是说，如果线程仍旧没有执行完，那么redisson会自动给redis中的目标key延长超时时间，这在Redisson中称之为 Watch Dog 机制。默认情况下&#x…...

编程日记 2024/3/30 5:10:48

MSTP环路避免实验（华为）

思科设备参考：MSTP环路避免实验（思科） 一，技术简介 MSTP（多生成树协议），MSTP解决了STP和RSTP没有考虑vlan的问题，STP和RSTP将所有的vlan共享为一个生成树实例，无法实现…...

编程日记 2024/3/30 5:09:46

IoT网关在智能制造工厂生产线监控与管理中的应用-天拓四方

随着工业4.0时代的到来，智能制造已成为工业发展的重要方向。IoT网关在智能制造工厂中扮演着关键角色，它能够实现设备间的互联互通、数据的实时采集与处理，以及生产线的智能监控与管理。本案例将详细介绍IoT网关在智能制造工厂生产线监控与管理…...

编程日记 2024/3/30 5:07:44

niushop单商户V5多店版源码分享三端uniapp打包方法包括PC端_小程序或h5端打包_收银端打包_APP端打包_商户端

目前多店版有四端uniapp，包括PC端uniapp，商家端uniapp，收银端uniapp，门店手机端uniapp，下面我总结下这些端的打包流程希望能帮助到大家，需要交流的可以看我昵称或者点我头像关注我分享代码和教程 一.niush…...

编程日记 2024/3/30 5:06:43

npm包发布

一、npm npm（Node Package Manager）是 Node.js 的包管理工具，用于安装、分享和管理 JavaScript 包和项目依赖。npm 是 Node.js 的默认包管理器，随同 Node.js 一起安装。 二、npm主要功能特点 包管理：npm 允许开发者…...

编程日记 2024/3/30 5:05:42

C#使用SQLite(含加密)保姆级教程

C#使用SQLite 文章目录 C#使用SQLite涉及框架及库复制runtimes创建加密SQLite文件生成连接字串执行SQL生成表SQLiteConnectionFactory.cs 代码结构最后 涉及框架及库 自己在NuGet管理器里面安装即可 Chloe.SQLite：ORM框架Microsoft.Data.Sqlite.Core：驱…...

编程日记 2024/3/30 5:04:41

C# 异步与 Unity 协程（实例讲解）

C#异步编程实例&#xff1a; 假设我们有一个需要从Web获取数据的简单应用。我们可以使用C#的异步编程模型来避免UI线程被HTTP请求阻塞 1using System.Net.Http; 2using System.Threading.Tasks; 3 4public class AsyncExample 5{ 6 public async Task<string> Fetch…...

编程日记 2024/3/30 5:02:39

iOS - Runloop介绍

文章目录 iOS - Runloop介绍1. 简介1.1 顾名思义1.2. 应用范畴1.3. 如果没有runloop1.4. 如果有了runloop 2. Runloop对象3. Runloop与线程4. 获取Runloop对象4.1 Foundation4.2 Core Foundation4.3 示例 5. Runloop相关的类5.1 Core Foundation中关于RunLoop的5个类5.2 CFRunL…...

编程日记 2024/3/30 5:01:38

探究分布式事务：深入ACID特性在分布式系统中的挑战与解决方案

✨✨谢谢大家捧场&#xff0c;祝屏幕前的小伙伴们每天都有好运相伴左右&#xff0c;一定要天天开心哦&#xff01;✨✨ &#x1f388;&#x1f388;作者主页&#xff1a; 喔的嘛呀&#x1f388;&#x1f388; ✨✨ 帅哥美女们&#xff0c;我们共同加油&#xff01;一起进步&am…...

编程日记 2024/3/30 5:00:37

PCI总线管脚定义（引脚定义）

文章目录 1&#xff1a; 参考资料的链接2: 图片说明3&#xff1a;PCI文字说明每日好图 1&#xff1a; 参考资料的链接 PCI bus pinout PCI三种标准引脚信号定义 PCI bus pinout 2: 图片说明 A面和B面正反 PCI Universal Card 32/64 bit ----------------------------------…...

编程日记 2024/3/30 4:58:35

万字详解PHP+Sphinx中文亿级数据全文检索实战（实测亿级数据0.1秒搜索耗时）

Sphinx查询性能非常厉害&#xff0c;亿级数据下输入关键字&#xff0c;大部分能在0.01~0.1秒&#xff0c;少部分再5秒之内查出数据。 Sphinx 官方文档&#xff1a;http://sphinxsearch.com/docs/sphinx3.html极简概括&#xff1a; 由C编写的高性能全文搜索引擎的开源组件&…...

编程日记 2024/3/30 4:57:34

数据库索引及优化

数据库索引及优化 什么是索引&#xff1f; MySQL官方对索引的定义为&#xff1a;索引&#xff08;INDEX&#xff09;是帮助MySQL高效获取数据的数据结构。 索引的本质&#xff1a; 数据结构 为什么要引入索引&#xff1f; 引入索引的目的在于提高查询效率&#xff0c;就好像是…...

编程日记 2024/3/30 4:56:33

flink: 将接收到的tcp文本流写入HBase

一、依赖&#xff1a; <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"http://maven.apache.o…...

编程日记 2024/3/30 4:54:31

SpringBoot集成knife4j

SpringBoot集成knife4j 1、什么是Knife4j2、SpringBoor整合Knife4j2.1、Knife4j配置方式12.2 配置方式二2.3、写注解2.4、效果 1、什么是Knife4j 在日常开发中&#xff0c;写接口文档是我们必不可少的&#xff0c;而Knife4j就是一个接口文档工具&#xff0c;可以看作是Swagger…...

编程日记 2024/3/30 4:53:30

营销推广方法/宁波seo哪家好快速推广

前言　　 因为游戏开发在架构上要考虑性能和实际需求&#xff0c;在尽量不引入第三方库、框架的前提下进行开发&#xff0c;所以在编码时候会经常用到设计模式对代码进行复用&#xff0c;对业务逻辑架构解耦&#xff0c;尽量减少hard code。 单例模式&#xff08;Singleton P…...

编程日记 2024/11/19 19:40:47

网站网页优化/百度的营销策略

select --要获取的目标字段列表 sys_menu.id, sys_menu.[order], sys_menu.parentid, sys_menu.[Name], sys_menu.url, sys_menu.icon, sys_menu.controllername, sys_menu.actionname, sys_menu.ismenu from priv_privilege --联合查询 left join sys_menu oselect--要获取的目…...

编程日记 2024/11/19 16:19:31

产品外观工业设计公司/小吴seo博客

读书笔记--第5篇--《公司绝不会告诉你的50大秘密》 0.法律解救不了您。 1.聪明过头并非明智之举。 2.年龄和性别歧视是活生生的现实。 3.公司并非畅所欲言的好地方。 4.如果你与老板作对&#xff0c;必然会被逐出公司大门。 5.与人力部门的闲谈&#xff0c;会使你面临失业的危险…...

编程日记 2024/11/19 15:24:37

百度联盟/网站优化排名首页

MySQL中的索引探究 - 08/05本次分享讲述MySQL的索引原理&#xff0c;不同存储引擎对索引的支持情况。同时探究大家普遍关心的问题&#xff1a;MySQL在哪些操作中会用到索引&#xff1f;InnoDB引擎对索引做了哪些扩展&#xff1f;基于Generated Column的索引有什么用&#xff1f…...

编程日记 2024/11/19 13:43:13

wordpress广告从哪获取/网络营销方式与工具有哪些

https://blog.csdn.net/hanchao5272/article/details/79435730 git log 退出方法&#xff1a; 英文状态下按Q...

编程日记 2024/11/19 12:46:32

做网站是做完给钱还是/自己如何制作网页

Regex r new Regex(".*[\\u4e00-\\u9faf].*");r.IsMatch(username)转载于:https://www.cnblogs.com/ZX-LMY/p/5535087.html...

编程日记 2024/11/19 11:47:16