当前位置： 首页 > news >正文

中英双语对话大语言模型：ChatGLM-6B

news 文章来源：https://blog.csdn.net/u013343616/article/details/132361934 2024/11/17 2:55:02

介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答
为了方便下游开发者针对自己的应用场景定制模型，我们同时实现了基于 P-Tuning v2 的高效参数微调方法 (使用指南) ，INT4 量化级别下最低只需 7GB 显存即可启动微调。

硬件需求

量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
FP16（无量化）13 GB14 GB
INT88 GB9 GB
INT46 GB7 GB

CPU 部署

如果你没有 GPU 硬件的话，也可以在 CPU 上进行推理，但是推理速度会更慢。使用方法如下（需要大概 32GB 内存）

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

如果你的内存不足，可以直接加载量化后的模型：

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

截图

在这里插入图片描述

地址

ChatGLM-6B

相关文章：

中英双语对话大语言模型：ChatGLM-6B

介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。…...

编程日记 2023/8/24 1:39:35

MES生产报工管理

一、MES生产报工管理的定义与功能： MES生产报工管理是指利用制造执行系统（MES）对生产过程进行实时监控、数据采集和分析，并及时记录和报告生产工单的实际完成情况。其主要功能包括： 1. 实时数据采集：通过…...

编程日记 2023/8/24 1:38:30

五、修改官方FreeRTOS例程(STM32F1)

1、官方源码下载 (1)进入FreeRTOS官网：FreeRTOS官网 (2)下载FreeRTOS。(选择带示例的下载) 2、删减目录 (1)下载后解压的FreeRTOS文件如下图所示。 (2)删除下图中红框勾选的文件。 FreeRTOS-Plus，FreeRTOS的生态文件，非必需的。tools&…...

编程日记 2023/8/24 1:37:29

pytorch基础实践-数据与预处理

文章目录 数据集Fashion-MNIST 数据集 数据预处理包的导入在Pytorch中进行 ETL利用torchvison包获取和处理数据集（ET） 访问数据集访问和查看 train_set 中的单个数据利用 DataLoader 成批访问数据 数据集 Fashion-MNIST 数据集 MNIST MNIST，…...

编程日记 2023/8/24 1:36:25

Java智慧工地系统源码（微服务+Java+Springcloud+Vue+MySQL）

智慧工地系统是依托物联网、互联网、AI、可视化建立的大数据管理平台，是一种全新的管理模式，能够实现劳务管理、安全施工、绿色施工的智能化和互联网化。围绕施工现场管理的人、机、料、法、环五大维度，以及施工过程管理的进度、质量、安全三…...

编程日记 2023/8/24 1:35:24

PV3D: A 3D GENERATIVE MODEL FOR PORTRAITVIDEO GENERATION 【2023 ICLR】

ICLR：International Conference on Learning Representations CCF-A 国际表征学习大会：深度学习的顶级会议 生成对抗网络(GANs)的最新进展已经证明了生成令人惊叹的逼真肖像图像的能力。虽然之前的一些工作已经将这种图像gan应用于无条件的2D人像视频生…...

编程日记 2023/8/24 1:34:21

Apache BeanUtils工具介绍

beanutils，顾名思义，是java bean的一个工具类，可以帮助我们方便的读取(get)和设置(set)bean属性值、动态定义和访问bean属性；细心的话，会发现其实JDK已经提供了一个java.beans包，同样可以实现以上功能&…...

编程日记 2023/8/24 1:33:20

java 原子操作 笔记

目录 java 变量原子操作 java byte[] 原子操作 java 变量原子操作 public class Counter {private int count 0;public synchronized void increment() {count;}public synchronized int getCount() {return count;} } java byte[] 原子操作 public class SharedArray {pr…...

编程日记 2023/8/24 1:32:18

什么是线程安全性问题？Java中有哪些常用的同步机制来解决线程安全性问题？

线程安全性问题是指在多线程环境下，多个线程同时访问和修改共享数据时可能引发的数据不一致、竞态条件和并发访问异常等问题。线程安全性问题的主要原因是多个线程之间的并发执行，导致数据的访问和修改顺序不确定，从而产生不一致的结果。 为…...

编程日记 2023/8/24 1:31:17

Gitlab 安装全流程

Version：gitlab-ce:16.2.4-ce.0 简介 Gitlab 是一个开源的 Git 代码仓库系统，可以实现自托管的 Github 项目，即用于构建私有的代码托管平台和项目管理系统。系统基于 Ruby on Rails 开发，速度快、安全稳定。它拥有与 Github 类似…...

编程日记 2023/8/24 1:30:14

pdf转word最简单方法~

pdf转word最简单方法！pdf转word最简单方法我们都知道，PDF文件是一种只读文件格式，无法按照需求对PDF文件进行更改与编辑，从而影响到了PDF文件的使用。所以，我们需要将PDF文件转换为word文档，以此来保证文件…...

编程日记 2023/8/24 1:29:12

Android 9.0 WiFi 扫描结果上报和获取流程

本文是对wifi扫描结果上报和获取过程的java层代码流程梳理总结。 我们先分析扫描成功的上报和获取过程。 一、WiFi扫描成功的上报和获取过程 WiFi扫描成功的上报和获取大致是由三条不连贯流程组成的，分别是通知framework和WifiTracker获取扫描结果以及应用主动获取…...

编程日记 2023/8/24 1:28:11

Java 项目日志实例：Log4j2

点击下方关注我，然后右上角点击...“设为星标”，就能第一时间收到更新推送啦~~~ Apache Log4j 2 是对 Log4j 的升级，与其前身 Log4j 1.x 相比有了显着的改进，并提供了许多 Logback 可用的改进，同时支持 JCL 以及 SLF4J…...

编程日记 2023/8/24 1:27:10

Effective C++条款14——在资源管理类中小心coping行为（资源管理）

条款13导入这样的观念:“资源取得时机便是初始化时机”(Resource Acquisitionls Initialization; RAII)，并以此作为“资源管理类”的脊柱，也描述了auto_ ptr和tr1::shared ptr如何将这个观念表现在 heap-based资源上。然而并非所有资源都是heap-based&am…...

编程日记 2023/8/24 1:26:08

【网络教程】如何创建/添加钉钉机器人以及如何获取机器人的Token/Secret

文章目录 创建钉钉机器人添加钉钉机器人获取机器人的Token/Secret相关网站创建钉钉机器人 这里以PC端的操作为例，按照如下操作进行 访问 钉钉开放平台选择机器人选项卡，点击右上角的创建应用，这里会有一个弹窗，我这里选择的是继续使用旧版，如图按照要求填写相关信息创建自…...

编程日记 2023/8/24 1:25:07

wx原生微信小程序入门常用总结

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、定义值和修改值1、定义值2、修改值（1）代码（2）代码说明（3）注意点 二、点击事件三、微…...

编程日记 2023/8/24 1:24:05

制作一个专属于安防监控业的小程序商城

随着科技的发展和人们生活水平的提高，安防监控设备在我们的日常生活中起到了越来越重要的作用。因此，建立一个安防监控设备商城小程序就变得尤为重要。下面将介绍如何建立这样一个小程序。 第一步，登录乔拓云平台后台，进入商城管理…...

编程日记 2023/8/24 1:23:04

基于java羽毛球馆管理系统设计与实现

摘 要 时代的变化速度实在超出人类的所料，21世纪，计算机已经发展到各行各业，各个地区，它的载体媒介-计算机，大众称之为的电脑，是一种特高速的科学仪器，比人类的脑袋要灵光无数倍，什么…...

编程日记 2023/8/24 1:22:01

安装elasticsearch8.9.0及修改配置

安装es流程 打开文件，添加以下行 vim /etc/sysctl.conf vm.max_map_count=262144重启生效 sysctl -p创建用户 useradd es passwd es修改es目录所属用户 chown -R es:es /opt/elasticsearch-8.9.0如果内存不足，可以修改es的初始化内存和Max内存，修改文件/opt/elasticsearch-8…...

编程日记 2023/8/24 1:20:59

如何构建高效的接口自动化测试框架？看完你就会了...

在选择接口测试自动化框架时，需要根据团队的技术栈和项目需求来综合考虑。对于测试团队来说，使用Python相关的测试框架更为便捷。无论选择哪种框架，重要的是确保 框架功能完备，易于维护和扩展，提高测试效率和准确性。今…...

编程日记 2023/8/24 1:19:57

53 | 金融行业股票销售指标分析

金融行业股票销售指标分析 引言： 金融行业中的股票销售指标分析是评估股票市场表现、投资者行为以及交易平台效果的重要手段。通过深入分析关键的销售指标，投资者、金融机构和交易平台可以更好地了解市场趋势，作出明智的投资决策，优化交易策略。本文将探讨金融行业股票销售…...

编程日记 2023/8/24 1:18:55

qiuzhiji1

前言：记录一下毕业后的求职历程 背景：18级 湖北理工学院计算机学院(黄石) 网络工程 本文初次撰写于2023年8月17日，正处于离职找工作的空档期，部分经历可能记不清了。所有内容尽量保证了客观，主要是分享一下自己的经历，顺带锻炼文字能力。 文章会不定期更新，较新的日期会…...

编程日记 2023/8/24 1:17:54

使用VisualStudio制作上位机（二）

文章目录 使用VisualStudio制作上位机（二）第三部分：GUI内部函数设计使用VisualStudio制作上位机（二） Author:YAL 第三部分：GUI内部函数设计 事件添加 给窗体或窗体按钮相关的操作添加事件有两种方式，事件的名字直白的表面了这是什么事件。 直接双击界面，自动生成窗…...

编程日记 2023/8/24 1:16:51

Datawhale AI夏令营 - 用户新增预测挑战赛 | 学习笔记

数据分析与可视化 为了拟合出更好的结果就要了解训练数据之间的相互关系，进行数据分析是必不可少的一步 导入必要的库 # 导入库 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns pandas库是一个强大的分析结构化…...

编程日记 2023/8/24 1:15:47

HarmonyOS/OpenHarmony(Stage模型）卡片开发AbilityStage组件容器

AbilityStage是一个Module级别的组件容器，应用的HAP在首次加载时会创建一个AbilityStage实例，可以对该Module进行初始化等操作。 AbilityStage与Module一一对应，即一个Module拥有一个AbilityStage。 DevEco Studio默认工程中未自动生成Abilit…...

编程日记 2023/8/24 1:14:46

利用torchvision库实现目标检测与语义分割

一、介绍 利用torchvision库实现目标检测与语义分割。 二、代码 1、目标检测 from PIL import Image import matplotlib.pyplot as plt import torchvision.transforms as T import torchvision import numpy as np import cv2 import randomCOCO_INSTANCE_CATEGORY_NAMES …...

编程日记 2023/8/24 1:13:45

基于决策树(Decision Tree)的乳腺癌诊断

决策树(DecisionTree)学习是以实例为基础的归纳学习算法。算法从--组无序、无规则的事例中推理出决策树表示形式的分类规则,决策树也能表示为多个If-Then规则。一般在决策树中采用“自顶向下、分而治之”的递归方式,将搜索空间分为若千个互不相交的子集,在决策树的内部节点(非叶…...

编程日记 2023/8/24 1:12:44

前端面试的计算机网络部分（2）每天10个小知识点

目录 系列文章目录前端面试的计算机网络部分（1）每天10个小知识点 知识点11. DNS 完整的查询过程递归查询过程：迭代查询过程： 12. OSI 七层模型13. TCP 的三次握手和四次挥手三次握手（Three-Way Handshake）&…...

编程日记 2023/8/24 1:11:42

【LeetCode】224. 基本计算器

224. 基本计算器（困难） 方法：双栈解法 思路 我们可以使用两个栈 nums 和 ops 。 nums ： 存放所有的数字ops ：存放所有的数字以外的操作，/- 也看做是一种操作 然后从前往后做，对遍历到的字符做…...

编程日记 2023/8/24 1:10:40

服务器数据恢复-EVA存储磁盘故障导致存储崩溃的数据恢复案例

EVA系列存储是一款以虚拟化存储为实现目的的中高端存储设备。EVA存储中的数据在EVA存储设备工作过程中会不断进行迁移，如果运行的任务比较复杂，EVA存储磁盘负载加重，很容易出现故障的。EVA存储通过大量磁盘的冗余空间和故障后rss冗余磁盘动态…...

编程日记 2023/8/24 1:09:39

台湾做系统集成的公司网站/seo技术博客

clickhouse提供了update和delete的删除能力，但是和常规的例如mysql，redis这种立即见效的能力不一样。在clickhouse中这种操作称为mutation操作。 1.mutation操作有3个特点： 1.Mutations是一类允许对表的行记录进行删除或更新的ALTER操作。相…...

编程日记 2024/11/16 22:26:05

自己有网站怎么优化/如何推广一个网站

当前，新一轮科技革命和产业革命蓬勃兴起，大数据、云计算、人工智能等现代信息技术与经济社会深度融合，给各行各业带来了深刻的变革。 在2018（第三届）中国大数据产业生态大会上，工业和信息化部党组成员、总…...

编程日记 2024/11/16 14:36:09

自做装逼头像网站/关键词推广优化app

TCP主动关闭连接 appl: close(), --> FIN FIN_WAIT_1 //主动关闭socket方&#xff0c;调用close关闭socket,发FIN <-- ACK FIN_WAIT_2 //对方操作系统的TCP层&#xff0c;给ACK响应。然后给FIN <-- FIN …...

编程日记 2024/11/16 12:34:14

地产广告设计网站/b2b采购平台

大纲&#xff1a; 赛题描述》定位机器学习问题 数据分析》特征选择》算法选择》参数优化 先分类&#xff0c;后回归&#xff0c;最后将每个回归模型用不同的算法进行模型融合。 流程&#xff1a; 熟悉数据&#xff1a; 前105个特征是关于游戏属性&#xff0c;后三个特征分别是平…...

编程日记 2024/11/16 10:25:19

wordpress集成到app/seo网站优化排名

基本概念首先简单介绍一下地理坐标系、大地坐标系以及地图投影的概念&#xff1a;● 地理坐标系&#xff1a;为球面坐标。参考平面地是椭球面&#xff0c;坐标单位&#xff1a;经纬度;● 投影坐标系&#xff1a;为平面坐标。参考平面地是水平面&#xff0c;坐标单位&#x…...

编程日记 2024/11/16 10:24:18

公司做网站怎么样/网站seo批量查询工具

智慧 毅力 无所不能 正确性、健壮性、可靠性、效率、易用性、可读性、可复用性、兼容性、可移植性... Lua和C交互详细总结 转自&#xff1a;http://cn.cocos2d-x.org/tutorial/show?id1474 一、Lua堆栈 要理解Lua和C交互&#xff0c;首先要理解Lua堆栈。 简单来说&#xff0…...

编程日记 2024/11/16 9:12:23