当前位置: 首页 > news >正文

你可以直接和数据库对话了!DB-GPT 用LLM定义数据库下一代交互方式,数据库领域的GPT、开启数据3.0 时代

cover_image
✨点击这里✨:🚀原文链接:(更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号!)

你可以直接和数据库对话了!DB-GPT 用LLM定义数据库下一代交互方式,数据库领域的GPT、开启数据3.0 时代

🤖️ DB-GPT 是一个 开源的AI原生数据应用开发框架 。 让围绕数据库构建大模型应用更简单,更方便。

Hello,大家好。今天介绍DB-GPT,这是一个11.8k Star的开源项目,挺精彩的! DB-GPT
目的是构建大模型领域的基础设施,通过开发 多模型管理(SMMF)Text2SQL 效果优化、 RAG框架 以及优化、
Multi-Agents 框架协作、 AWEL (智能体工作流编排)等多种技术能力,

在开始介绍这个项目之前,首先我想提个问题: 通用模型 真的能解决所有问题吗?我们是否需要 领域模型 ?展望未来, 多模型
之间将如何协作与交互呢?

我们也许需要3层的大模型交互架构:


● 通用大语言模型(> 100B)● 领域大语言模型(10~70B)● 工具类模型(<10B)

在深入思考 自然语言理解和语义分析 时,我们意识到其复杂性远超我们的想象。尽管如今有许多开源模型可以进行自然语言对话,但能够通过明确的
提示词(Prompt) 获得确定结果的模型却寥寥无几。只有像ChatGPT和 GPT-4
这样的模型才能表现得相对稳定。这也揭示了一个事实:通用大语言模型的体量巨大、入门门槛高,因此注定这一层的市场会呈现 寡头垄断
的局面,最终只会有少数效果最佳的模型存活。

通用大模型的迭代符合 数据飞轮理论
:效果越好,先发优势越明显,模型便能获得更好的训练数据,形成增长飞轮。因此,拥有强大效果的模型将吸引更多用户,进而通过用户反馈不断优化自身,进一步拉大与其他模型的差距。

那么,为什么需要 领域模型层
(或垂直模型层)呢?尽管通用大模型强大,但它们无法涵盖所有领域的专业知识。而且企业也不会将核心数据资产交给通用大模型,因为在模型层内进行数据加密与隐私保护几乎是个伪命题。那么,如何在保护数据的同时兼顾效果呢?我的答案是引入领域模型层,将其与通用模型在
私有数据资产上解耦 。内部核心业务交互由领域模型层处理,而交互层通过通用模型进行下发,并在通用模型层与领域模型层之间设置
安全与隐私防护机制


那么领域层都有了,为什么还要有 第三层工具模型
?这个主要是高精度与成本。针对非常细分的场景去做任务的时候,我们其实不太需要模型掌握太多的泛化或者推理的能力。恰恰相反,我们需要的是最低成本确定性完成某一任务的能力。比如生产线上的工人,你需要让他去理解与推敲公司的战略方向吗?嗯,高质量完成执行就行了。

** 🚀 数据3.0 时代,基于模型、数据库,企业/开发者可以用更少的代码搭建自己的专属应用。 **

DB-GPT的架构与特点

该框架专为文本到 SQL 任务而设计,允许使用开源数据集轻松对各种 LLM 进行微调。

作为一种开源AI原生数据应用开发框架,配有代理工作流表达语言以及代理功能。简单来说,这个框架托管了所有功能,是大型语言模型领域的基础设施。使用DB-
GPT,你可以应用 RAG算法、本地与文件和语言模型(LM)聊天 ,确保数据100%私密。此外,它还包含多代理创建框架及其他多种功能。

这个解决方案的本地化功能允许你与模型和各种插件进行交互,确保数据私密且安全。自上次介绍以来,DB-GPT已经推出了许多新更新,包括DB-GPT
3.0,引入了AI原生数据应用程序和新的Drag and Drop UI,使你可以构建多AI代理框架,并与 数据解释器交互
,创建各种AI应用程序及代理。

多代理协作与应用创建 DB-GPT提供了多代理协作系统和应用创建功能。你可以在主面板中选择预创建的代理,如 Chat Data、Chat
DB、Chat Knowledge和Chat Excel

,设置自定义提示词,连接数据库,上传各种文件类型,创建知识库和集成第三方插件。此外,新引入的Agentic Workflow Expression
Language简化了复杂工作流和多代理框架的开发。

下图是DB-GPT的架构图,整体结构比较简单。 左侧是知识(RAG),右侧是工具(Agents), 中间是多模型管理(SMMF),
同时增加了向量存储这样的大模型记忆体,以及各类数据源,在往上是一层通用的交互层面。

** 关键特性 **

● **私域问答 &数据处理&RAG **
支持内置、多文件格式上传、插件自抓取等方式自定义构建知识库,对海量结构化、非结构化数据做统一向量存储与检索。

● **多数据源 &GBI **
支持自然语言与Excel、数据库、数仓等多种数据源交互,并支持分析报告。

多模型管理
海量模型支持,包括开源、API代理等几十种大语言模型,如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱、星火等。

自动化微调
围绕大语言模型、Text2SQL数据集、LoRA/QLoRA/Pturning等微调方法构建的自动化微调轻量框架,让TextSQL微调像流水线一样方便。

● **Data-Driven Multi-Agents &Plugins ** 支持自定义插件执行任务,原生支持Auto-
GPT插件模型,Agents协议采用Agent Protocol标准。

隐私安全
通过私有化大模型、代理脱敏等多种技术保障数据的隐私安全。

视频教程

多模型支持与管理

海量模型支持,包括开源、API代理等几十种大语言模型。如LLaMA/LLaMA2、Baichuan、ChatGLM、文心、通义、智谱等。当前已支持如下模型:

  • • 新增支持模型

    • • 🔥🔥🔥 Qwen2-57B-A14B-Instruct

    • • 🔥🔥🔥 Qwen2-72B-Instruct

    • • 🔥🔥🔥 Qwen2-7B-Instruct

    • • 🔥🔥🔥 Qwen2-1.5B-Instruct

    • • 🔥🔥🔥 Qwen2-0.5B-Instruct

    • • 🔥🔥🔥 glm-4-9b-chat

    • • 🔥🔥🔥 Phi-3

    • • 🔥🔥🔥 Yi-1.5-34B-Chat

    • • 🔥🔥🔥 Yi-1.5-9B-Chat

    • • 🔥🔥🔥 Yi-1.5-6B-Chat

    • • 🔥🔥🔥 Qwen1.5-110B-Chat

    • • 🔥🔥🔥 Qwen1.5-MoE-A2.7B-Chat

    • • 🔥🔥🔥 Meta-Llama-3-70B-Instruct

    • • 🔥🔥🔥 Meta-Llama-3-8B-Instruct

    • • 🔥🔥🔥 CodeQwen1.5-7B-Chat

    • • 🔥🔥🔥 Qwen1.5-32B-Chat

    • • 🔥🔥🔥 Starling-LM-7B-beta

    • • 🔥🔥🔥 gemma-7b-it

    • • 🔥🔥🔥 gemma-2b-it

    • • 🔥🔥🔥 SOLAR-10.7B

    • • 🔥🔥🔥 Mixtral-8x7B

    • • 🔥🔥🔥 Qwen-72B-Chat

    • • 🔥🔥🔥 Yi-34B-Chat

  • • 更多开源模型

  • • 支持在线代理模型

    • • DeepSeek.deepseek-chat

    • • Ollama.API

    • • 月之暗面.Moonshot

    • • 零一万物.Yi

    • • OpenAI·ChatGPT

    • • 百川·Baichuan

    • • 阿里·通义

    • • 百度·文心

    • • 智谱·ChatGLM

    • • 讯飞·星火

    • • Google·Bard

    • • Google·Gemini

拖放式UI构建

** 看看官方是怎么说的(向上滑动) **

入门教程也实现众多功能

除此以外高阶教程包含可控细颗粒度操作

甚至还有微调教程

部署方式众多

多模型服务的调用兼容了OpenAI接口,可以通过OpenAI SDK直接调用DB-GPT中部署好的模型。

DB-
GPT支持多种开源以及闭源模型的安装使用,不同模型对环境与资源的需求也不相同。如果需要进行本地化模型部署,则需要GPU资源进行部署。通过API代理模型所需要的资源会相对较少,可在CPU机器上进行部署启动。

https://www.yuque.com/eosphoros/dbgpt-docs/qno7x8hmgyulbg80

智能体编排语言(AWEL)

** 看看官方是怎么说的(向上滑动) **

使用企业

视频教程 https://www.bilibili.com/video/BV1JW421N7T5?share_source=copy_web

知音难求,自我修炼亦艰

抓住前沿技术的机遇,与我们一起成为创新的超级个体

(把握AIGC时代的个人力量)

**
**

** 点这里 👇 关注我,记得标星哦~ **

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

预览时标签不可点

微信扫一扫
关注该公众号

轻触阅读原文

AI进修生



收藏

相关文章:

你可以直接和数据库对话了!DB-GPT 用LLM定义数据库下一代交互方式,数据库领域的GPT、开启数据3.0 时代

✨点击这里✨&#xff1a;&#x1f680;原文链接&#xff1a;&#xff08;更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号&#xff01;&#xff09; 你可以直接和数据库对话了&#xff01;DB-GPT 用LLM定义数据库下一代交互方式&#xff0c;数据库领…...

数据结构笔记2 栈和队列

为什么在循环队列中&#xff0c;判断队满的条件是&#xff08;Q.rear1&#xff09;模maxqsize? 取模运算&#xff08;%&#xff09;在循环队列中起到关键作用&#xff0c;主要是因为它能确保索引值在数组的有效范围内循环。具体来说&#xff0c;取模运算有以下几个重要作用&am…...

Python | 刷题笔记

继承 class Father:__secret"you are your own kid"stroy"iam a handsome boy..."def tellstory(self):print("我的故事:",self.stroy)def __tellstory(self):print("我的秘密:",Father.__secret) class Son(Father):def tell(self…...

软件三班20240605

文章目录 1.创建工程和模块2.添加 web支持3.创建前端代码4.添加servlet 依赖5. 代码6.案例2 1.创建工程和模块 2.添加 web支持 方法1 方法2 3.创建前端代码 4.添加servlet 依赖 5. 代码 <!DOCTYPE html> <html lang"en"> <head><meta c…...

http和https数据传输与协议区分

目录 1. 数据传输安全性2. 端口号3. URL 前缀4. SSL/TLS 证书5. 性能6. SEO 和用户信任7. 应用场景总结 HTTP&#xff08;HyperText Transfer Protocol&#xff09;和 HTTPS&#xff08;HyperText Transfer Protocol Secure&#xff09;是用于在客户端&#xff08;如浏览器&…...

天才程序员周弈帆 | Stable Diffusion 解读(一):回顾早期工作

本文来源公众号“天才程序员周弈帆”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;Stable Diffusion 解读&#xff08;一&#xff09;&#xff1a;回顾早期工作 在2022年的这波AI绘画浪潮中&#xff0c;Stable Diffusion无疑是最…...

软件架构初探

MVC架构软件层次结构是面向实体的&#xff0c;他最底层是实体类&#xff0c;实体类中封装了对象的抽象数据类型&#xff08;数据结构和对数据结构的基本操作&#xff09;。然后向上一层数据处理层提供接口&#xff0c;数据处理层利用模型层提供的对象和基本操作进一步进行算法的…...

Python01 -分解整包数据到各个变量操作和生成器

Python 的星号表达式可以用来解决这个问题。比如&#xff0c;你在学习一门课程&#xff0c;在学期末的时候&#xff0c;你想统计下家庭作业的平均成绩&#xff0c;但是排除掉第一个和最后一个分数。如果只有四个分数&#xff0c;你可能就直接去简单的手动赋值&#xff0c;但如果…...

flutter image_picker 执行拍照的图片怎么保存到本地

在 Flutter 中&#xff0c;使用 image_picker 插件拍照的图片默认会被保存到设备的临时目录中。这个临时目录的具体位置取决于设备的操作系统。在 iOS 上&#xff0c;它通常是应用的沙盒目录&#xff1b;在 Android 上&#xff0c;它通常是应用的缓存目录。 这些图片不会被自动…...

基于Python的北京天气数据可视化分析

项目用到库 import numpy as np import pandas as pd import datetime from pyecharts.charts import Line from pyecharts.charts import Boxplot from pyecharts.charts import Pie,Grid from pyecharts import options as opts from pyecharts.charts import Calendar 1.2…...

Linux编译器-gcc或g++的使用

一.安装gcc/g 在linux中是不会自带gcc/g的&#xff0c;我们需要编译程序就自己需要安装gcc/g。 很简单我们使用简单的命令安装gcc&#xff1a;sudo yum install -y gcc。 g安装&#xff1a;sudo yum install -y gcc-c。 我们知道Windows上区分文件&#xff0c;都是使用文件…...

一条sql的执行流程

文章地址 https://blog.csdn.net/qq_43618881/article/details/118657040 连接器 请求先走到连接器&#xff0c;与客户端建立连接、获取权限、维持和管理连接 mysql缓存池 如果要查找的数据直接在mysql缓存池里面就直接返回数据 分析器 请求已经建立了连接&#xff0c;现在…...

Android音乐播放器的思路处理

** 1.android音乐播放播放列表中下一首上一首随机播放的思路 ** 实现 Android 音乐播放器的播放列表中的下一首、上一首和随机播放功能涉及到对音乐列表的管理以及对播放顺序的控制。以下是实现这些功能的思路&#xff1a; 下一首和上一首功能&#xff1a; 维护一个音乐列表…...

算法课程笔记——可撤销并查集

算法课程笔记——可撤销并查集 Gv...

【排序算法】快速排序

一、定义&#xff1a; 快速排序是Hoare于1962年提出的一种二叉树结构的交换排序方法&#xff08;也叫Hoare排序&#xff09;&#xff0c;是一种基于分治的排序方。其基本原理是将待排序的数组通过一趟排序分成两个独立的部分&#xff0c;其中一部分的所有数据比另一部分的所有数…...

OS复习笔记ch7-2

页式管理 学过计组的同学都了解一点页式管理&#xff0c;就是将内存划分成较小的、大小固定的、等大的块。现在OS引入了进程的概念&#xff0c;那么为了匹配内存的分块&#xff0c;同样把进程也划分成同样大小的块。 这里区分两个概念 The chunks of a process are called p…...

4.通用编程概念

目录 一、变量与常量1.1 变量1.2 常量 二、遮蔽三、数据类型3.1 标量类型1. 整型2. 浮点型3. 布尔类型4.字符类型 3.2 复合类型1. 元组2. 数组 四、函数五、语句和表达式六、函数的返回值 一、变量与常量 1.1 变量 在Rust中默认的变量是不可变的&#xff0c;如果修改其值会导致…...

iBeacon赋能AR导航:室内定位技术的原理与优势

室内定位导航对于大型商场、机场、医院等复杂室内环境至关重要&#xff0c;它帮助人们快速找到目的地&#xff0c;提高空间利用率。AR技术通过将虚拟信息叠加在现实世界&#xff0c;提供直观导航指引&#xff0c;正在成为室内导航的新趋势&#xff0c;增强用户互动体验&#xf…...

【sklearn】【逻辑回归1】

学习笔记来自&#xff1a; 所用的库和版本大家参考&#xff1a; Python 3.7.1Scikit-learn 0.20.1 Numpy 1.15.4, Pandas 0.23.4, Matplotlib 3.0.2, SciPy 1.1.0 1 概述 1.1 名为“回归”的分类器 在过去的四周中&#xff0c;我们接触了不少带“回归”二字的算法&#xf…...

java(kotlin)和 python 通过DoubleCloud的kafka进行线程间通信

进入 DoubleCloud https://www.double.cloud 创建一个kafka 1 选择语言 2 运行curl 的url命令启动一个topic 3 生成对应语言的token 4 复制3中的配置文件到本地&#xff0c;命名为client.properties 5 复制客户端代码 对python和java客户端代码进行了重写&#xff0c;java改成…...

vivado DIAGRAM、HW_AXI

图表 描述 块设计&#xff08;.bd&#xff09;是在IP中创建的互连IP核的复杂系统 Vivado设计套件的集成商。Vivado IP集成器可让您创建复杂的 通过实例化和互连Vivado IP目录中的IP进行系统设计。一块 设计是一种分层设计&#xff0c;可以写入磁盘上的文件&#xff08;.bd&…...

学习分享-为什么把后台的用户验证和认证逻辑放到网关

将后台的用户验证和认证逻辑放到网关&#xff08;API Gateway&#xff09;中是一种常见的设计模式&#xff0c;这种做法在微服务架构和现代应用中有许多优势和理由&#xff1a; 1. 集中管理认证和授权 统一的安全策略 在一个包含多个微服务的系统中&#xff0c;如果每个服务…...

27 ssh+scp+nfs+yum进阶

ssh远程管理 ssh是一种安全通道协议&#xff0c;用来实现字符界面的远程登录。远程复制&#xff0c;远程文本传输。 ssh对通信双方的数据进行了加密。 用户名和密码登录 密钥对认证方式&#xff08;可以实现免密登录&#xff09; ssh 22 网络层 传输层 数据传输的过程中是…...

LabVIEW液压伺服压力机控制系统与控制频率选择

液压伺服压力机的控制频率是一个重要的参数&#xff0c;它直接影响系统的响应速度、稳定性和控制精度。具体选择的控制频率取决于多种因素&#xff0c;包括系统的动态特性、控制目标、硬件性能以及应用场景。以下是一些常见的指导原则和考量因素&#xff1a; 常见的控制频率范…...

阿里云(域名解析) certbot 证书配置

1、安装 certbot ubuntu 系统&#xff1a; sudo apt install certbot 2、申请certbot 域名证书&#xff0c;如申请二级域名aa.example.com 的ssl证书&#xff0c;同时需要让 bb.aa.example.com 也可以使用此证书 1、命令&#xff1a;sudo certbot certonly -d “域名” -d “…...

Web LLM 攻击技术

概述 在ChatGPT问世以来&#xff0c;我也尝试挖掘过ChatGPT的漏洞&#xff0c;不过仅仅发现过一些小问题&#xff1a;无法显示xml的bug和错误信息泄露&#xff0c;虽然也挖到过一些开源LLM的漏洞&#xff0c;比如前段时间发现的Jan的漏洞&#xff0c;但是不得不说传统漏洞越来…...

Java等待异步线程池跑完再执行指定方法的三种方式(condition、CountDownLatch、CyclicBarrier)

Java等待异步线程池跑完再执行指定方法的三种方式(condition、CountDownLatch、CyclicBarrier) Async如何使用 使用Async标注在方法上&#xff0c;可以使该方法异步的调用执行。而所有异步方法的实际执行是交给TaskExecutor的。 1.启动类添加EnableAsync注解 2. 方法上添加A…...

秒杀优化+秒杀安全

1.Redis预减库存 1.OrderServiceImpl.java 问题分析 2.具体实现 SeckillController.java 1.实现InitializingBean接口的afterPropertiesSet方法&#xff0c;在bean初始化之后将库存信息加载到Redis /*** 系统初始化&#xff0c;将秒杀商品库存加载到redis中** throws Excepti…...

48、Flink 的 Data Source API 详解

a&#xff09;概述 本节将描述 FLIP-27 中引入的新 Source API 的主要接口。 b&#xff09;Source Source API 是一个工厂模式的接口&#xff0c;用于创建以下组件。 Split EnumeratorSource ReaderSplit SerializerEnumerator Checkpoint Serializer 此外&#xff0c;Sou…...

深入解析Java扩展机制:SPI与Spring.factories

目录 Java SPI概述 1.1 什么是SPI&#xff1f;1.2 SPI的工作原理1.3 SPI的优缺点 SPI的应用 2.1 Java标准库中的SPI应用2.2 自定义SPI示例 Spring.factories概述 3.1 什么是spring.factories&#xff1f;3.2 spring.factories的工作原理3.3 spring.factories的优缺点 spring.f…...