当前位置：首页 > news >正文

langchain ChatGPT AI私有知识库

news 文章来源：https://blog.csdn.net/qq_44961149/article/details/132446350 2024/9/21 14:26:01

企业知识库

原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt，
输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户

什么是langchain?

langchain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如 API 和数据库。

AI私有知识库

一种利用langchain思想实现的基于本地知识库的问答应用

详细流程实现：

文档的处理：

本地文档进行加载获取到text文字内容
将获取的text进行切割分段（一般是采用文字500字切割，且上下文档有关联100字）
分段segment进行向量化存储到向量存储中

query查询的处理

对提问的问题query进行向量化embedding
查询向量存储匹配的文档（一般有相似度的查询与设置，比较好用）
查询的文档与问题、历史记录等组成prompt
prompt（一般会设置中文化且设置回答等限制）请求LLM大模型
最终返回结果给用户

最后最终方案

本人和公司都是Java系的开发，但langchain是python的框架，最后采用了如下的方案：…
麻蛋，还得给它改python代码（头皮发麻）

Azure AI 是微软的一个python开源解决方案,但我们是Java体系，便只使用azure AI LLM大模型的功能，和向量embedding的存储，提问查询功能，其他的功能都采用Java来实现，如对象存储、文档加载、文档切割、格式转化等等

langchain ChatGPT AI私有知识库

企业知识库原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt， 输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户什么是langchain? langchain是一个强大的…...

编程日记 2023/8/23 12:34:50

API接口常用数据格式Json，Json的定义和XML的区别

现在程序员还有谁不知道 JSON 吗？无论对于前端还是后端，JSON 都是一种常见的数据格式。那么 JSON 到底是什么呢？ JSON 的定义 JSON （JavaScript Object Notation） ，是一种轻量级的数据交换格式。它的使用…...

编程日记 2023/8/23 12:33:49

密码学学习笔记(二十一)：SHA-256与HMAC、NMAC、KMAC

SHA-256 SHA-2是广泛应用的哈希函数，并且有不同的版本，这篇博客主要介绍SHA-256。 SHA-256算法满足了哈希函数的三个安全属性： 抗第一原像性 - 无法根据哈希函数的输出恢复其对应的输入。抗第二原像性 - 给定一个输入和它的哈希值&#xf…...

编程日记 2023/8/23 12:32:48

操作系统-笔记-第四章-文件管理

目录四、第四章——文件管理 1、文件管理——基础概念 （1）文件结构 （2）操作系统提供的接口 （3）总结 2、文件的逻辑结构 （1）有结构文件（类似SQL表文件&#xff09…...

编程日记 2023/8/23 12:31:47

【MiniGUI】文字颜色实现透明度变化

在MiniGUi中，输出文字时有时候希望文字带有透明度信息， 即文字能够透出下面的图像来。很自然地想到，设置颜色时，将颜色设置为带有透明度的颜色： SelectFont(hdc, mg_font);SetTextColor(hdc, RGBA2Pixel(HDC_SCREEN, …...

编程日记 2023/8/23 12:30:45

css中元素加定位之后到一定距离元素会变小主要原因：元素没有加宽高 .swiperWrapper .active{bottom: 380px;left: 215px;z-index: 10; } .swiperWrapper .next{bottom: 170px;left: 7%;z-index: 20; } .swiperWrapper .prev{bottom: 360px;left: 0%;z-index: 30;…...

编程日记 2023/8/23 12:29:44

Java 语言实现冒泡排序

Java 语言实现冒泡排序介绍冒泡排序是一种简单直观的排序算法，它重复地比较相邻的两个元素，如果顺序错误就交换它们，直到没有需要交换的元素为止。冒泡排序的思路是通过每一轮的比较将最大（或最小）的元素逐渐“冒泡…...

编程日记 2023/8/23 12:28:43

面向对象单选题

下列选项中不属于面向对象的特征的是（B） A、封装性 B、安全性 C、继承性 D、多态性在Java中,关于继承，类只支持（A） A、单继承 B、多继承 C、两个都可以 D、两个都不可以用于定义成员的访问控制权的一组关键字…...

编程日记 2023/8/23 12:27:42

微服务-Fegin

在之前我们两服务之间调用的时候用的是restTemplate,但是这个方式调用存在很多的问题 String url "http://userservice/user/" order.getUserId(); 代码可读性差，编码体验不统一参数复杂的url难以维护所以我们大力推出我们今天的主角--Fegin Feign是…...

编程日记 2023/8/23 12:26:41

[oneAPI] 使用字符级 RNN 生成名称

[oneAPI] 使用字符级 RNN 生成名称 oneAPI特殊写法使用字符级 RNN 生成名称Intel Optimization for PyTorch数据下载加载数据并对数据进行处理创建网络训练过程准备训练训练网络结果参考资料比赛：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0517…...

编程日记 2023/8/23 12:25:39

【ROS】参数服务器--理论模型与参数操作(C++)

一、概念介绍参数服务器在ROS中主要用于实现不同节点之间的数据共享。参数服务器相当于是独立于所有节点的一个公共容器，可以将数据存储在该容器中，被不同的节点调用，当然不同的节点也可以往其中存储数据。作用：存储一些多节点…...

编程日记 2023/8/23 12:24:38

[oneAPI] 基于BERT预训练模型的英文文本蕴含任务

[oneAPI] 基于BERT预训练模型的英文文本蕴含任务 Intel DevCloud for oneAPI 和 Intel Optimization for PyTorch基于BERT预训练模型的英文文本蕴含任务语料介绍数据集构建模型训练结果参考资料比赛：https://marketing.csdn.net/p/f3e44fbfe46c465f4d9d6c23e38e0…...

编程日记 2023/8/23 12:23:37

【洛谷】P1163 银行贷款

原题链接：https://www.luogu.com.cn/problem/P1163 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析这题需要注意的是利率按月累计这句话，也就是相当于“利滚利”。我们定义sum变量表示贷款原值，money表示每月支付…...

编程日记 2023/8/23 12:22:36

Java版工程行业管理系统源码-专业的工程管理软件-提供一站式服务 em

鸿鹄工程项目管理系统 Spring CloudSpring BootMybatisVueElementUI前后端分离构建工程项目管理系统 1. 项目背景一、随着公司的快速发展，企业人员和经营规模不断壮大。为了提高工程管理效率、减轻劳动强度、提高信息处理速度和准确性，公司对内部工…...

编程日记 2023/8/23 12:21:34

kafka--技术文档--基本docker中安装＜单机＞-linux

安装zookeeper 阿丹小科普： Kafka在0.11.0.0版本之后不再依赖Zookeeper，而是使用基于Raft协议的Kafka自身的仲裁机制来替代Zookeeper。具体来说，Kafka 2.8.0版本是第一个不需要Zookeeper就可以运行Kafka的版本，这被称为Kafka Raf…...

编程日记 2023/8/23 12:20:33

回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）

回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图） 目录回归预测 | MATLAB实现WOA-RF鲸鱼优化算法优化随机森林算法多输入单输出回归预测（多指标，多图）效果一览…...

编程日记 2023/8/23 12:19:31

Linux系统安全——NAT（SNAT、DNAT）

目录 NAT SNAT SNAT实际操作 DNAT DNAT实际操作 NAT NAT: network address translation，支持PREROUTING，INPUT，OUTPUT，POSTROUTING四个链请求报文：修改源/目标IP， 响应报文：修改源/目标…...

编程日记 2023/8/23 12:18:28

uniapp项目添加人脸识别功能，可用作登录，付款，流程审批前的安全校验

本案例使用了hbuilder插件商城中的活体检验插件，可自行前往作者处下载查看， 效果图如下此插件需要在manifest.json中勾选实现流程 1：前往hbuilder插件市场下载插件 2：在页面中导入import face from "/uni_modules/mcc-…...

编程日记 2023/8/23 12:17:27

SpringBoot面试题

Spring Boot的启动流程主要分为以下几个步骤： 加载Spring Boot配置文件，初始化Spring Boot环境和核心组件，如ApplicationContext上下文环境、自动装配机制等。执行SpringApplication.run()方法，执行所有Spring Boot自动配置的Be…...

编程日记 2023/8/23 12:16:25

Git相关命令

SSH密钥文件 Github里面S设置SH公钥有两者选择方式账号下的每个仓库都设置一个公钥，因为GitHub官方要求每个仓库的公钥都不能相同，所以每个账号都要搞一个密钥（很麻烦）给账号分配一个公钥，然后这个公钥就可以在这个…...

编程日记 2023/8/23 12:15:24

《HeadFirst设计模式(第二版)》第八章代码——模板方法模式

代码文件目录： CaffeineBeverage package Chapter8_TemplateMethodPattern;/*** Author 竹心* Date 2023/8/17**/public abstract class CaffeineBeverage {final void prepareRecipe(){boilWater();brew();pourInCup();//这里使用钩子customerWantsCondiments()来…...

编程日记 2023/8/23 12:14:21

RESTful API，以及如何使用它构建 web 应用程序

RESTful API是一种基于HTTP协议的API设计风格，它的核心思想是将资源作为 API 的核心，使用 HTTP 的 GET、POST、PUT、DELETE 等方法对这些资源进行操作，并通过 URL 来定位资源。 RESTful API的特点包括： 资源是 API 的核心使用 H…...

编程日记 2023/8/23 12:13:20

Git+Gitee使用分享

GitGitee快速入门创建仓库初始化本地仓库验证本地git是否安装好打开cmd窗口，输入git 这样就OK。 Git 全局设置:(只需要设置一次) 这台电脑如果是第一次使用git，就需要这样初始化一下，这样才知道是谁提交到仓库了。 git confi…...

编程日记 2023/8/23 12:12:19

【3D激光SLAM】LOAM源代码解析--transformMaintenance.cpp

系列文章目录【3D激光SLAM】LOAM源代码解析–scanRegistration.cpp 【3D激光SLAM】LOAM源代码解析–laserOdometry.cpp 【3D激光SLAM】LOAM源代码解析–laserMapping.cpp 【3D激光SLAM】LOAM源代码解析–transformMaintenance.cpp 写在前面本系列文章将对LOAM源代码进行讲解…...

编程日记 2023/8/23 12:11:18

DiscuzQ 二开教程（7）——二次开发版本部署文档

DiscuzQ 二开教程（7）——二次开发版本部署文档源码：Discuz-Q-V3: 本仓库为Discuz-Q V3.0.211111 版本的二次开发版本，是将DiscuzQ官方仓库进行合并代码（All in One）整理后的仓库，使用更方便。…...

编程日记 2023/8/23 12:10:16

u盘数据丢失但占内存如何恢复？不要着急，这里有拯救方案

U盘数据丢失但占内存如何恢复？数据丢失是一种让人非常头疼的问题，尤其是当我们的U盘数据丢失了，但内存仍然被占用时，更令人困惑和焦虑。然而，不要慌张！在本文中，将为大家介绍一些有效的方法来恢…...

编程日记 2023/8/23 12:09:15

springboot日志文件名称为什么叫logback-spring.xml

如题，为什么springboot日志配置文件叫logback-spring.xml？ 在整个项目中搜索 logback-spring.xml 并没有搜索到。先看一下 org.springframework.boot.context.logging.LoggingApplicationListener#initialize protected void initialize(ConfigurableEn…...

编程日记 2023/8/23 12:08:14

Mysql 开窗函数（窗口函数）

文章目录全部数据示例1（说明）开窗函数可以比groupby多查出条件列外的字段，开窗函数主要是为了跟聚合函数一起使用，达到分组统计效果，并且开窗函数的结果集基本都是跟总行数一样示例2示例3示例4错误示例1错误示例2错误…...

编程日记 2023/8/23 12:07:13

计算机视觉之图像特征提取

图像特征提取是计算机视觉中的重要任务，它有助于识别、分类、检测和跟踪对象。以下是一些常用的图像特征提取算法及其简介： 颜色直方图（Color Histogram）： 简介：颜色直方图表示图像中各种颜色的分布情况。通…...

编程日记 2023/8/23 12:06:12

【面试经典150题】移除元素·JavaScript版

题目来源大致思路：遍历数组，如果遇到值为val的元素，使用数组最后一个元素替换它。详细过程： /*** param {number[]} nums* param {number} val* return {number}*/ var removeElement function(nums, val) {let i0,nnums.leng…...

编程日记 2023/8/23 12:05:10

Cesium 相机的三种放置方式

文章目录 Cesium 相机的三种放置方式第一种：setView 计算视角1. Cartesian3 方式2. Rectangle 方式第二种：flyTo第三种：lookAt Cesium 相机的三种放置方式 Cesium 提供了三种方式对相机的位置进行摆放第一种：setView 计算视角 …...

编程日记 2023/8/23 12:04:09

看了我这篇帖子，你还会觉得制作电子杂志很难吗？

如果你也像我一样笨手笨脚的不会设计排版制作杂志也没关系，用FLBOOK就能在线制作电子杂志，效果极好！ 工具：FLBOOK 步骤如下： 1.打开FLBOOK在线制作电子杂志平台 2.点击开始创作，有四个创建作品的方式&…...

编程日记 2023/8/23 12:03:06

SRE 与开发的自动化协同 -- 生产环境出现 bug 自动生成异常追踪

简介生产环境 bug 的定义：RUM 应用和 APM 应用的 error_stack 信息被捕捉后成为 bug。以 APM 新增错误巡检为例，当出现新错误时，在观测云控制台的「事件」模块下生成新的事件报告，捕捉为 bug。同时利用 Dataflux Func 创建异常…...

编程日记 2023/8/23 12:02:05

【简单认识Docker基本管理】

文章目录一、Docker概述1、定义2.容器化流行的原因3.Docker和虚拟机的区别4.Docker核心概念二、安装docker三、镜像管理1.搜索镜像2.下载（拉取）镜像3.查看已下载镜像4.查看镜像详细信息5.修改镜像标签6.删除镜像7.导出镜像文件和拉取本地镜像文件8.上传…...

编程日记 2023/8/23 12:01:04

设备管理系统是什么？的修设备管理系统有什么功能？

随着计算机技术的迅速发展和移动互联网的商业化和社会化应用，设备的种类和数量急剧增加。如何利用先进的网络技术和快速更新的计算机设备来有效地收集和处理设备信息，建立以信息化为核心的管理体系，减轻管理和业务人员的数据处理负担&#xf…...

编程日记 2023/8/23 12:00:03

Docker安装并配置Pushgateway

Linux下安装Docker请参考：Linux安装Docker 简介 Pushgateway是Prometheus的一个组件，prometheus server默认是通过Exporter主动获取数据（默认采取pull拉取数据），Pushgateway则是通过exporter主动方式推送数据到Pushg…...

编程日记 2023/8/23 11:58:59

汽车OTA活动高质量发展的“常”与“新”

伴随着车主的频繁崔更，车企除了卷硬件、拼价格，逐渐将精力转移到汽车全生命周期的常用常新。时至下半年，车企OTA圈愈发热闹，以新势力、新实力为代表新一代车企，OTA运营活动逐渐进入高质量发展期。所谓高质量&#xf…...

编程日记 2023/8/23 11:57:57

C++信息学奥赛1121：计算矩阵边缘元素之和

题解：i0 or j0 or in-1 or jm-1 or in-1 or jm-1 代码： #include<iostream> // 包含输入输出流库 #include<cmath> // 包含数学函数库 using namespace std; // 使用标准命名空间int main() {int n,m;cin>>n>>m; // 输入…...

编程日记 2023/8/23 11:56:55

Android Selector 的使用

什么是 Selector？ Selector 和 Shape 相似，是Drawable资源的一种，可以根据不同的状态，设置不同的图片效果，关键节点 < selector > ，例如：我们只需要将Button的 background 属性设置为该dr…...

编程日记 2023/8/23 11:55:54

k8s集群中service的域名解析、pod的域名解析

前言在k8s集群中，service和pod都可以通过域名的形式进行相互通信，换句话说，在k8s集群内，通过service和pod的域名，可以直接访问内部应用，不必在通过service ip地址进行通信，一般的，…...

编程日记 2023/8/23 11:54:53

Shell 编程快速入门之数学计算和函数基础

目录 1. 求两数之和整数之和浮点数之和 2. 计算1-100的和 for...in C风格for循环 while...do until...do while和until的区别关系运算符 break与continue的区别 3. shell函数基础知识函数定义函数名函数体参数返回值 return返回值的含义 return与…...

编程日记 2023/8/23 11:53:52

学习php中如何获取pdf文件中的文本内容

学习php中如何获取pdf文件中的文本内容要使用PHP获取PDF文件中的文本内容，可以使用PDF解析库。以下是一些流行的PDF解析库： pdftotext：它是一个命令行工具，可以将PDF文件转换为文本文件。可以使用PHP exec()函数运行该工具。 FP…...

编程日记 2023/8/23 11:52:51

分布式数据库架构：高可用、高性能的数据存储

在现代信息时代，数据是企业发展的核心。为了支持海量数据的存储、高并发访问以及保证数据的可靠性，分布式数据库架构应运而生。分布式数据库架构是一种将数据存储在多个物理节点上，并通过一系列复杂的协调和管理机制来提供高可用性和高性能的…...

编程日记 2023/8/23 11:51:50

Python工具箱系列(四十)

使用gzip对数据进行压缩这是python提供的压缩模块，便于用户对数据、文件进行压缩。功能类似于 GNU 应用程序gzip和gunzip。以下代码压缩一段字节流。 import gzip# 压缩一段英文 originstr The World Health Organization officially declared on Saturday that …...

编程日记 2023/8/23 11:50:48

【Hibench 】完成 HDP-Spark 性能测试

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁 🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的…...

编程日记 2023/8/23 11:49:48

【C++奇遇记】内存模型

🎬 博客主页：博主链接 🎥 本文由 M malloc 原创，首发于 CSDN🙉 🎄 学习专栏推荐：LeetCode刷题集数据库专栏初阶数据结构 🏅 欢迎点赞 👍 收藏 ⭐留言 📝 如…...

编程日记 2023/8/23 11:48:45

Debootstrap 教程

文章目录 Debootstrap 教程安装 debootstrap使用 debootstrap运行 debootstrap进入新的系统结束语 Debootstrap 教程 debootstrap 是一个用于在 Debian-based 系统上创建一个基本的 Debian 系统的工具。它可以用于创建 chroot 环境、容器或者为新的系统安装做准备。安装 deb…...

编程日记 2023/8/23 11:47:44

MySQL之InnoDB引擎

MySQL之InnoDB引擎简介逻辑存储结构InnoDB架构内存架构缓冲池LRU List、Free List和Flush List更改缓冲区（在5.x版本之前叫做插入缓冲区）自适应hash日志缓冲区磁盘架构System TablespaceFile Per Table TabspaceGeneral TablespceUndo TablespaceTemp …...

编程日记 2023/8/23 11:46:43

API自动化管理: 从繁琐到轻松

在数字化时代，API（应用程序编程接口）在软件开发中扮演着至关重要的角色。然而，API管理可能会变得十分繁琐，耗费大量时间和资源。那么，如何实现API自动化管理，从而节省时间、提高效率&#xff0c…...

编程日记 2023/8/23 11:45:42

Databend 开源周报第 107 期

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。 Whats On In Databend 探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。理解连接参数 …...

编程日记 2023/8/23 11:44:40