用Rust实现免费调用ChatGPT的命令行工具 (一)
代码已经开源:🚀 fgpt 欢迎大家star⭐和fork 👏
ChatGPT现在免费提供了GPT3.5的Web访问,不需要注册就可以直接使用,但是,它的使用方式是通过Web页面,不够方便。
更多技术分享关注 入职啦(https://ruzhila.cn/?from=csdn)
Shell-GPT 是一个流行的OpenAI 命令行工具,可以调用ChatGPT的API,但是它需要注册并获取API密钥,并且需要Python环境,对于一些不熟悉Python的用户来说,可能不太方便。
无依赖命令行使用GPT还是非常方便的,因此我决定用Rust实现一个类似的工具💡,不需要注册就可以直接使用,支持CLI
和OpenAI API代理
的两种模式, 实际的运行效果:
📖 文章系列分为三部分发布,记录完整的过程:
- 基于ChatGPT的Web API实现基本的调用,内置支持代理(这个很重要)
- 完善命令行的功能: 支持代码、文件输入、交互式输入等
- 实现OpenAI API代理,兼容OpenAI的OpenAPI接口, 等同于免费使用GPT3.5的API
ChatGPT的Web API工作流程
通过分析ChatGPT的Web API,我们可以发现它的工作流程如下:
- 调用
backend-anon/sentinel/chat-requirements
接口,获取一个token
- 调用
backend-anon/conversation
接口,基于SSE
获取聊天的结果
所以要做的事情,就是根据这个流程,用Rust实现完整的流程,已达到调用ChatGPT的目的。
我设计了一个简单的使用方式:
fgpt "输出一段python代码,实现字符串反转"
fgpt
这个命令行工具,会调用ChatGPT的Web API,返回一段Python代码,并且根据SSE
实现打字机的效果和交互式的输入。
需要用到哪些Rust的库(第一个版本)
第一个版本目标是完成基本的调用,所以只需要能使用命令行参数、发送HTTP请求、序列化和反序列化、日志输出、生成uuid
、正则表达式匹配、实现Stream
的功能等。
第一个版本大概需要用到以下几个库:
clap
用于解析命令行参数reqwest
用于发送HTTP请求tokio
用于异步编程serde
用于序列化和反序列化log
和env_logger
用于日志输出uuid
用来生成uuid
,regex
用于正则表达式匹配features
和Bytes
用于实现Stream
的功能
程序结构分析
fgpt
的代码结构如下:
mpi@mpis-Mac-mini fgpt % ls src
cli.rs main.rs proxy.rs fgpt.rs
主要的代码实现在src/fgpt.rs
中,src
中包含了cli.rs
和proxy.rs
两个模块,分别实现了CLI
和OpenAI API代理
的功能。
fgpt.rs 的实现
命令行
和API代理
只是呈现的方式不同,但是实现的逻辑是一样的,背后调用的都是fgpt.rs
的逻辑。
所以我基于Stream
的特性,设计了一个能够支持CLI
和API代理
的通用的Stream
,可以充分利用好``Stream`的特性:
pub(crate) struct CompletionStream {response_stream: Pin<Box<dyn Stream<Item = Result<Bytes, reqwest::Error>> + Send>>,
}impl Stream for CompletionStream {type Item = reqwest::Result<String>;fn poll_next(mut self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<Option<Self::Item>> {match self.response_stream.as_mut().poll_next(cx) {Poll::Ready(Some(Ok(data))) => {....},}}}
}/// 调用实现这样的效果,这样就可以支持CLI和API代理
let stream = CompletionStream::new(reqwest::Client::new(), url, token);
while let Some(result) = stream.next().await {println!("{}", result.unwrap());
}
解析Web API的返回结果
ChatGPT
的返回结果是一个SSE
的流,从测试的情况来看,返回有3种情况:
data: {"message": .... }
表示返回的是聊天的结果data: 2024-03-12 12:12:14.12
表示这个是一个心跳包data: [DONE]
表示当前的聊天结束
根据这个特点,实现了一个Enum
用来表示这三种情况:
enum ChatGPTResponse {Data(CompletionResponse),Done,Heartbeat,Text(String),
}
为了考虑后续的兼容性,当出现消息不能被CompletionResponse
解析当时候,还能够返回原始的消息,多兼容了一个Text
当类型:
CompletionResponse
是根据ChatGPT
返回的消息解析出来的结构体,不展开讨论
impl From<&BytesMut> for CompletionEvent {fn from(line: &BytesMut) -> CompletionEvent {...serde_json::from_str(line_str).map(CompletionEvent::Data).unwrap_or(CompletionEvent::Text(line_str.to_string()))}}
}
如何实现打字机的效果
根据OpenAI的OpenAPI
文档,我们可以知道,ChatGPT
的返回结果是一个Delta
的结果,也就是说,每次返回的结果都是上一次的增量。
但是Web API
并没有这个Delta
的字段,每次返回都是完整的结果,所以我们需要自己实现这个效果。 这个实现也是比较简单,就是保留上一次的结果,然后和当前的结果进行比较,然后输出差异部分, 实际上用的是strip_prefix
这个函数:
let mut textbuf = String::new();while let Some(message) = stream.next().await {match message {Ok(crate::fgpt::CompletionEvent::Data(message)) => {let text = message.message.content.parts.join("\n");let delta_chars = text.strip_prefix(textbuf.as_str()).unwrap_or(text.as_str());textbuf = text.clone();print!("{}", delta_chars);let _ = std::io::stdout().flush();}}....}
为了实现打字机的效果,print!(..)
之后,需要flush
一下,这样才能实现效果,否则会等到换行的时候才输出,不符合我们的预期。
总结
这个工具是昨天开始构思,下午吃完饭的时候开始写,晚上就写完第一个可以运行的版本,总共写了410行的Rust
代码,明天会继续完善功能,实现更多的功能,比如支持文件输入、代码输入、交互式输入等。
可以加群学习
相关文章:
用Rust实现免费调用ChatGPT的命令行工具 (一)
代码已经开源:🚀 fgpt 欢迎大家star⭐和fork 👏 ChatGPT现在免费提供了GPT3.5的Web访问,不需要注册就可以直接使用,但是,它的使用方式是通过Web页面,不够方便。 更多技术分享关注 入职啦&…...
mysql 查询实战1-题目
学习了mysql 查询实战-变量方式-解答-CSDN博客,接着练习sql,从实战中多练习。 1,题目: 1,查询部门工资最高的员工 1,建表: DROP TABLE IF EXISTS department; create table department(dept_i…...
Word学习笔记之奇偶页的页眉与页码设置
1. 常用格式 在毕业论文中,往往有一下要求: 奇数页右下角显示、偶数页左下角显示奇数页眉为每章标题、偶数页眉为论文标题 2. 问题解决 2.1 前期准备 首先,不论时要求 1、还是要求 2,这里我们都要做一下设置: 鼠…...
数据赋能(58)——要求:数据赋能实施部门能力
“要求:数据赋能实施部门能力”是作为标准的参考内容编写的。 在实施数据赋能中,数据赋能实施部门的能力体现在多个方面,关键能力如下图所示。 在实施数据赋能的过程中,数据赋能实施部门应具备的关键能力如下。 理性思维与逻辑分…...
Unity URP PBR_Cook-Torrance模型
Cook-Torrance模型是一个微表面光照模型,认为物体的表面可以看作是由许多个理想的镜面反射体微小平面组成的。 单点反射镜面反射漫反射占比*漫反射 漫反射 基础色/Π 镜面反射DFG/4(NV)(NL) D代表微平面分布函数,描述的是法线与半角向量normalize(L…...
Unity之XR Interaction Toolkit如何在VR中实现渐变黑屏效果
前言 做VR的时候,有时会有跳转场景,切换位置,切换环境,切换进度等等需求,此时相机的画面如果不切换个黑屏,总会感觉很突兀。刚好Unity的XR Interaction Toolkit插件在2.5.x版本,出了一个TunnelingVignette的效果,我们今天就来分析一下他是如何使用的,然后我们自己再来…...
html+vue编写分页功能
效果: html关键代码: <div class"ui-jqgrid-resize-mark" id"rs_mlist_table_C87E35BE"> </div><div class"list_component_pager ui-jqgrid-pager undefined" dir"ltr"><div id"pg…...
计算机网络 实验指导 实验17
实验17 配置无线网络实验 1.实验拓扑图 Table PC0 和 Table PC1 最开始可能还会连Access Point0,无影响后面会改 名称接口IP地址网关地址Router0fa0/0210.10.10.1fa0/1220.10.10.2Tablet PC0210.10.10.11Tablet PC1210.10.10.12Wireless互联网220.10.10.2LAN192.16…...
在 Vue中,v-for 指令的使用
在 Vue中,v-for 指令用于渲染一个列表,基于源数据多次渲染元素或模板块。它对于展示数组或对象中的数据特别有用。 数组渲染 假设你有一个数组,并且你想为每个数组元素渲染一个 <li> 标签: <template> <ul>…...
达梦数据库执行sql报错:数据溢出
数据库执行sql报错数据溢出 单独查询对应的数字进行计算是不是超过了某个字段类型的上限或下限 如果已经超过了,进行对字段进行cast类型转换处理,转换为dec num都可以尝试 这里就是从 max(T.BLOCK_ID as dec*8192t.bytes)/1024/1024 max_MB,换成了这个…...
从「宏大叙事」到「生活叙事」,小红书品牌种草的的“正确姿势”
不同于抖音和微博,在小红书上,品牌营销的基调应该是怎样的?品牌怎样与小红书用户对话?什么样的内容,才能走进小红书用户的心中?本期,小编将带大家洞察品牌在小红书营销的“正确姿势”。从「小美…...
Python Selenium 的基本使用方法
文章目录 1. 概述2. 安装Chrome及ChromeDriver2.1 安装Chrome2.2 安装ChromeDriver 3. 安装Selenium4. 常见用法4.1 启动4.2 查找元素4.3 等待页面加载元素 1. 概述 Selenium 是一个用于自动化 web 浏览器的工具,它提供了一套用于测试 web 应用程序的工具和库。Sel…...
上位机图像处理和嵌入式模块部署(树莓派4b固件功能设计)
【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 前面我们说过,上位机的功能都是基于插件进行开发的。但是上位机的成本比较贵,一般的企业不一定愿意接接受。这个时候另外一…...
新手入门人工智能:从零开始学习AI的正确途径
你是否对人工智能(AI)充满了好奇心和探索欲?你是否想了解如何从零开始学习AI,成为一名人工智能领域的专家?那么,这篇文章就是为你准备的!我们将带你了解人工智能的基本概念,学习如何…...
ubuntu git相关操作
1 安装git sudo apt install git git --version git version 2.25.1 2 解决git超时 2.1 扩大post的buffer git config --global http.postBuffer 524288000 git config --global http.postBuffer 157286400 2.2 换回HTTP1上传。上传之后再切换回HTTP2 …...
IDEA工具|添加 GitLab 账户之两三事
📫 作者简介:「六月暴雪飞梨花」,专注于研究Java,就职于科技型公司后端工程师 🏆 近期荣誉:华为云云享专家、阿里云专家博主、腾讯云优秀创作者、ACDU成员 🔥 三连支持:欢迎 ❤️关注…...
蓝桥杯:棋盘(Java)
目录 问题描述输入格式输出格式代码实现 问题描述 小蓝拥有n n大小的棋盘,一开始棋盘上全都是白子。小蓝进行了m.次操作,每次操作会将棋盘上某个范围内的所有棋子的颜色取反(也就是白色棋子变为黑色,黑色棋子变为白色)。请输出所…...
跨界融合:ERP与TMS的区分、相通之处、融合方式,全告诉你。
Hi,如今系统的边界越来越模糊,A系统和B系统会有一些功能的交叉,贝格前端工场今天开始介绍第二篇ERP和TMS的融合。 一、什么是ERP和TMS ERP是企业资源规划(Enterprise Resource Planning)的缩写,是一种集成…...
SAP Smartform转存PDF方法汇总
用户会有保存SF至本地PDF文件的需求,下面详细说明一下Smartform转成PDF的四种方法,其中,方法二和三相比于其他方法更便捷实用,如果还有其他方法,欢迎留言补充。 一、代码开发 1)先调用smartform函数获取OTF格式数据 2)后调用函数CONVERT_OTF转换成PDF格式数据 3)再…...
Linux【实战篇】—— NFS服务搭建与配置
目录 一、介绍 1.1什么是NFS? 1.2客户端与服务端之间的NFS如何进行数据传输? 1.3RPC和NFS的启动顺序 1.4NFS服务 系统守护进程 二、安装NFS服务端 2.1安装NFS服务 2.2 创建共享目录 2.3创建共享目录首页文件 2.4关闭防火墙 2.5启动NFS服务 2.…...
Edge的使用心得与深度探索
Microsoft Edge 是微软推出的一款网页浏览器,基于 Chromium 开源项目开发。从 2020 年开始,Edge 浏览器经历了一次重大更新,采用了与 Google Chrome 相同的浏览器引擎,这使得它在性能、兼容性和扩展支持方面都得到了显著改善。以下…...
逆向案例二十八——红某点集登录接口逆向序
网址:aHR0cHM6Ly93d3cuaHJkanl1bi5jb20vIy9sb2dpbj9yZWRpcmVjdD0lMkZyZWFsVGltZUxpdmluZw 登录接口,发现两个参数加密,分别是pwd和sig,t很明显是时间戳。 观察pwd,发现很像md5加密,我输入的密码是123456,在在线加密网…...
我的创作纪念日20240418
机缘 我的技术博客起源于对编程的深深热爱和对知识的渴望。从一开始,我就被编程世界的无限可能所吸引,而这种热情也推动我开始了技术创作之旅。我创建博客的初衷有以下几点: 分享实战经验:在工作中,我遇到了许多技术…...
计算机视觉入门
计算机视觉是人工智能的一个分支,它涉及研究如何使计算机能够理解和解释图像和视频中的视觉信息。这个领域结合了计算机科学、工程学、神经科学和认知科学等多个学科的知识。以下是计算机视觉入门的一些关键点: 1. 基础概念 - **图像处理**:对…...
CTFHUB-技能树-Web前置技能-文件上传(前端验证—MIME绕过、00截断、00截断-双写后缀)
CTFHUB-技能树-Web前置技能-文件上传(前端验证—MIME绕过、00截断、00截断-双写后缀) 文章目录 CTFHUB-技能树-Web前置技能-文件上传(前端验证—MIME绕过、00截断、00截断-双写后缀)前端验证—MIME绕过有关MIMEMIME的作用 解题时有…...
Java面试题笔记(持续更新)
Java基础 java中的Math.round(-1.5)等于多少? Math的round方法是四舍五入,如果参数是负数,则往大的数如,Math.round(-1.5)-1,如果是Math.round(1.5)则结果为2 JDK和JRE的区别? JDK 是 Java Development ToolKit 的简称,也就是…...
格式化字符串漏洞学习笔记
简单介绍 格式化字符串漏洞和栈溢出有相似之处,但又有所不同,都是利用了程序员的疏忽大意来改变程序运行的正常流程。 1、格式化字符串的介绍 printf()、fprint()等print()系列的函数可以按照一定的格式将数据进行输出。 实例…...
用友NC avatar接口文件上传漏洞
产品简介 用友NC是一款企业级ERP软件。作为一种信息化管理工具,用友NC提供了一系列业务管理模块,包括财务会计、采购管理销售管理、物料管理、生产计划和人力资源管理等,帮助企业实现数字化转型和高效管理。 漏洞介绍 用友 NC avatar接口处…...
【Go语言快速上手(二)】 分支与循环函数讲解
💓博主CSDN主页:杭电码农-NEO💓 ⏩专栏分类:Go语言专栏⏪ 🚚代码仓库:NEO的学习日记🚚 🌹关注我🫵带你学习更多Go语言知识 🔝🔝 Go快速上手 1. 前言2. 分支与循环2.1…...
动手写sql 《牛客网80道sql》
第1章:SQL编写基础逻辑和常见问题 基础逻辑 SELECT语句: 选择数据表中的列。FROM语句: 指定查询将要从哪个表中检索数据。WHERE语句: 过滤条件,用于提取满足特定条件的记录。GROUP BY语句: 对结果进行分组。HAVING语句: 对分组后的结果进行条件过滤。O…...
网站开发毕业论文引言/百度公司推广电话
计算机软件考试重要性通过考试并获得相应级别的计算机技术与软件专业技术资格(水平)证书的人员,表明其已具备从事相应专业岗位工作的水平和能力,由人事部直接颁发相应的职称资格证书,用人单位可择优聘任。获得初级资格可聘任技术员或助理工程…...
wordpress商店页面/新闻头条今日要闻10条
为什么会出现此问题呢?我们可以打开mysql.server脚本文件,里面有这样的代码:# If you install MySQL on some other places than /usr/local/mysql, then you# have to do one of the following things for this script to work:## - Run thi…...
网站建设阝搜金手指下拉罒/百度竞价排名
视频教程详细信息 名称 Best of Fluent 2012:可维护的JavaScript 描述 注意:要查看高清版本,请访问:http://youtu.be/nZihjH6_Qnsrnrn Nicholas Zakas在其Fluent Conference 2012演讲中的视频维护性JavaScript解决了作为大型团…...
网站运营心得/百度如何推广广告
今天重点说一下jmeter如何利用自身的代理服务器录制脚本1:工作台下创建代理服务器2:配置代理,选择录制控制器3:在Requests FIltering下添加排除模式,配置正则表达式。否则会录制出很多凌乱的请求。.*\.XXX.*|.*\.XXX.*…...
私人订制网站建设/微信群二维码推广平台
#1014 : Trie树 时间限制:10000ms单点时限:1000ms内存限制:256MB描述 省略 输入 输入的第一行为一个正整数n,表示词典的大小,其后n行,每一行一个单词(不保证是英文单词,也有可能是火星文单词哦),…...
wordpress获取当前分类id/内容营销成功案例
前言: 在网上搜索到了很多关于如何通过githubHexo创建博客的文章,通过参考大家的博客,最后自己的博客也创建成功了,此篇文章是为了记录这个创建的过程. 主要参考的文章地址如下: GitHubHexo 搭建个人网站详细教程 GitHub Pages域名绑定及https支持的配置步骤 github图床 …...