大模型相关资料、基础技术和排行榜
大模型排行榜
| 测试集 |
|---|
| CEval中文多个学科测试集排名 |
| MMLU大规模多任务语言理解英文排名，介绍 |
| 斯坦福排行榜 |
| Math-V |
| Math-Vista |
| Open LLMs Leaderboard |
| CMMLU |
大模型数据集
| 标题 | 简介 |
|---|---|
| 19个大模型常用的评估数据集和训练数据集汇总 | 19个大模型常用的评估数据集和训练数据集汇总 |
| 最全 高质量 大模型（LLM）中文预训练数据集，持续更新中 | 高质量的中文预训练数据集 is all Chinese LLM need |
| 最全 高质量 大模型 -预训练数据集（不定期更新） | 最全 高质量 大模型 -预训练数据集（不定期更新） |
大模型相关资料
| 标题 | 简介 |
|---|---|
| Huggingface的介绍，使用（CSDN最强Huggingface入门手册） | 实现AGI的车轮地方 |
| Transformers Tasks | 一个github上开源项目，里面有许多典型的NLP项目，且有相应的讲解和源码 |
| 《Planing for AGI and beyond》 | OpenAI对实现强人工智能AGI的规划 |
| 老北鼻AI工具箱 | 各类AI产品 |
| GPT相关开源项目合集 | GPT相关开源项目合集 |
| AutoGPT | AutoGPT项目地址 |
| Agent | AI Agent，英文原文 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ public） | 我对未来LLM发展以及实现AGI的思考 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ private） | 我对未来LLM发展以及实现AGI的思考和解决思路 |
| 大脑相关知识的简单介绍（小白入门） | 比较浅显的介绍 |
| 人的记忆组成图 | 人的记忆图示化 |
大模型基础技术
| 标题 | 简介 |
|---|---|
| 稳定扩散模型The Illustrated Stable Diffusion图示化讲解 | Jay讲解Stable Diffusion |
| Transformer图示化讲解 | Jay讲解 Attention is all you need(Transformer) |
| ChatGPT深度体验记录，期待GPT-4（测试各领域知识，正常聊天，写代码，写诗歌，模拟人格，机器翻译，语法改错等） | 2022.12.1号发布的ChatGPT体验记录 |
| 模型量化技术 | LLM大模型中常见的模型量化技术介绍 |
| 看注解逐行学习ChatGLM2-6B大模型 | 学习大模型源码 |
| 逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现） | 学习大模型微调源码 |
| KBQA知识总结 | 基于知识图谱的问答（KBQA）介绍 |
| 从零开始的知识图谱生活 | GitHub上一个知识图谱项目，适合入门学习知识图谱。是一个入门知识图谱过程中的学习笔记，算是半教程类的，指引初学者对知识图谱的各个任务有一个初步的认识。 |
| 大模型训练为什么用A100不用4090 | 关于大模型训练的事情 |
| 大模型优化之KV Cache | 推理阶段时KVcache的作用 |
| 大模型实战教程 | 大模型实战教程，配套教程和代码 |
| 大模型训练时常见GPU的对比 | 大模型训练时常见GPU的对比 |
| 不得不会的32个Linux命令 | 常见linux命令 |
| 手把手带你实战HuggingFace Transformers | b站传送门，动手学习NLP和LLM非常好的地方 |
| 1B（10亿）的token大概需要多少磁盘空间存储 | 算token数 |
| Slurm集群上单节点8卡全量微调大模型笔记 | Slurm集群上单节点8卡全量微调大模型笔记 |
| 大模型加载的参数介绍及推荐表 | 大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等 |
| 大模型：常见的文字表情包(可以直接加到微调数据里) | 大模型：常见的文字表情包(可以直接加到微调数据里) |
| LLM模型评测代码实践 | LLM模型评测代码实践 |
| DeepSpeed使用指南(简略版) | 简单介绍DeepSpeed使用指南(简略版) |
| DeepSpeed使用指南(资深版) | LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】 |
| Huggingface 镜像站 | Huggingface 镜像站 |
| DPO原理 | DPO原理 |
相关文章：
大模型相关资料、基础技术和排行榜
大模型排行榜 测试集CEval中文多个学科测试集排名MMLU大规模多任务语言理解英文排名，介绍斯坦福排行榜Math-VMath-VistaOpen LLMs LeaderboardCMMLU 大模型数据集 标题简介19个大模型常用的评估数据集和训练数据集汇总19个大模型常用的评估数据集和训练数据集汇总最…...
如何安装cnpm
今天尝试用npm install安装一个项目的依赖，但是无论如何都不能完成，等待时间非常久，所以同事推荐了cnpm，确实非常好用，所以推荐了出来，希望能给大家带来帮助。 cnpm 是中国淘宝团队提供的一个 npm 镜像工具…...
正则表达式 匹配特定字符后的所有字符
在处理文本数据时，正则表达式（RegularExpressions，简称Regex）是一种非常强大的工具，它可以用来搜索、匹配和替换文本中符合特定模式的字符串。 首先，明确我们的目标是匹配完整的URL，并获取它之…...
计算机网络 （44）电子邮件
一、概述 电子邮件（Electronic Mail，简称E-mail）是因特网上最早流行的应用之一，并且至今仍然是因特网上最重要、最实用的应用之一。它利用计算机技术和互联网，实现了信息的快速、便捷传递。与传统的邮政系统相比&#…...
数据结构与算法：动态规划dp：理论基础和相关力扣题（509.斐波那契数列、70.爬楼梯）
1.0.理论基础 动态规划主要解决的问题种类有： 背包问题打家劫舍股票问题子序列问题 解决步骤： dp数组及其下标的意义递推公式dp数组初始化遍历顺序打印dp数组 2.0.相关力扣题 509.斐波那契数列 class Solution:def fib(self, n: int) -> int:i…...
某政务行业基于 SeaTunnel 探索数据集成平台的架构实践
分享嘉宾：某政务公司大数据技术经理 孟小鹏 编辑整理：白鲸开源 曾辉 导读：本篇文章将从数据集成的基础概念入手，解析数据割裂给企业带来的挑战，阐述数据集成的重要性，并对常见的集成场景与工具进行阐述&…...
word-break控制的几种容器换行行为详解
word-break 属性在控制换行行为时需要根据语言判断，对于中文 一个字符就是一个单词，字符换行不影响阅读理解，而对于英文来说，多个连续的字符才会是一个单词，例如中文的 早 英文为 morning。 morning7个字符才算一个单词…...
【0x0084】HCI_Set_Min_Encryption_Key_Size命令详解
目录 一、命令概述 二、命令格式及参数 2.1 HCI_Set_Min_Encryption_Key_Size命令格式 2.2. Min_Encryption_Key_Size 三、生成事件及参数 3.1. HCI_Command_Complete 事件 3.2. Status 四、命令的执行流程 4.1. 主机端准备阶段 4.2. 命令发送阶段 4.3. 控制器接收和…...
关于2025年智能化招聘管理系统平台发展趋势
2025年，招聘管理领域正站在变革的十字路口，全新的技术浪潮与不断变化的职场生态相互碰撞，促使招聘管理系统成为重塑企业人才战略的关键力量。智能化招聘管理系统平台在这一背景下迅速崛起，其发展趋势不仅影响企业的招聘效率与质量…...
Docker部署Spring Boot + Vue项目
目录 前提条件 概述 下载代码 打开代码 Docker创建网络 MySQL容器准备 MySQL数据库配置 启动MySQL容器 测试连接MySQL 初始化MySQL数据 Redis容器准备 修改Redis配置 启动redis容器 部署后端 后端代码打包 上传jar包到Linux 创建Dockerfile 构建镜像 运行后…...
开发规范
开发规范 企业项目开发有2种开发模式：前后台混合开发和前后台分离开发。 前后台混合开发 顾名思义就是前台后台代码混在一起开发，如下图所示： 这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题…...
九 RK3568 android11 MPU6500
一 MPU6500 内核驱动 1.1 查询设备连接地址 查看原理图， MPU6500 I2C 连接在 I2C4 上， 且中断没有使用 i2c 探测设备地址为 0x68 1.2 驱动源码 drivers/input/sensors/gyro/mpu6500_gyro.c drivers/input/sensors/accel/mpu6500_acc.c 默认 .config 配置编译了 mpu6550 …...
openplant实时数据库(二次开发)
资源地址 我的网盘〉软件>数据库>openplant>openplant实时数据库(二次开发)...
C语言：-三子棋游戏代码：分支-循环-数组-函数集合
思路分析： 1、写菜单 2、菜单之后进入游戏的操作 3、写函数 实现游戏 3.1、初始化棋盘函数，使数组元素都为空格 3.2、打印棋盘 棋盘的大概样子 3.3、玩家出棋 3.3.1、限制玩家要下的坐标位置 3.3.2、判断玩家要下的位置是否由棋子 3.4、电脑出棋 3.4.1、…...
“AI智慧化服务系统：未来生活的智能管家
在当今快速发展的科技时代，人工智能（AI）正以前所未有的速度改变着我们的生活。AI智慧化服务系统作为这一变革的前沿技术，正在逐渐成为我们未来生活的智能管家。它们不仅提高了服务效率，还为我们带来了更加个性化和便捷…...
python管理工具：conda部署+使用
python管理工具：conda部署使用 一、安装部署 1、 下载 - 官网下载： https://repo.anaconda.com/archive/index.html - wget方式： wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh2、 安装 在conda文件的…...
minio https配置
minio启动时候指定数据目录,配置文件，密钥文件目录，环境文件 1.创建minio用户,专门用于服务启动的 groupadd -r minio-user useradd -M -r -g minio-user minio-user 2.在当前用户目录下创建minio目录，存储minio相关文件 mkdir minio 在mini…...
SpringMVC——原理简介
狂神SSM笔记 DispatcherServlet——SpringMVC 的核心 SpringMVC 围绕DispatcherServlet设计。 DispatcherServlet的作用是将请求分发到不同的处理器（即不同的Servlet）。根据请求的url，分配到对应的Servlet接口。 当发起请求时被前置的控制…...
Ubuntu18.04 解决 libc.so.6: version `GLIBC_2.28‘ not found
Glibc（GNU C Library）是 GNU 系统及其衍生系统如 Linux 操作系统中实现 C 语言标准库的核心组件。升级 Glibc 是一个非常谨慎的操作，因为它与系统的许多关键功能和服务密切相关。Ubuntu 18.04 默认安装的 Glibc 版本为 2.27，但某些…...
Notepad++移除所有空格
1.打开Notepad。 2.打开你想要编辑的文件。 3.按下 Ctrl H 打开查找和替换对话框，并选择 “正则表达式”。 4.在 “查找目标” 框中输入 \s。 5.在 “替换为” 框中留空，不填写任何内容。 6.点击 “全部替换” 按钮。...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目：3442. 奇偶频次间的最大差值 I 思路 ：哈希，时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况，哈希表这里用数组即可实现。 C版本： class Solution { public:int maxDifference(string s) {int a[26]…...
生成xcframework
打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式，可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...
stm32G473的flash模式是单bank还是双bank？
今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
DockerHub与私有镜像仓库在容器化中的应用与管理
哈喽，大家好，我是左手python！ Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库，用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...
大型活动交通拥堵治理的视觉算法应用
大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...
《用户共鸣指数（E）驱动品牌大模型种草：如何抢占大模型搜索结果情感高地》
在注意力分散、内容高度同质化的时代，情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现，消费者对内容的“有感”程度，正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中࿰…...
Qwen3-Embedding-0.6B深度解析：多语言语义检索的轻量级利器
第一章 引言：语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域，文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量，支撑着搜索引擎、推荐系统、…...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
BCS 2025｜百度副总裁陈洋：智能体在安全领域的应用实践
6月5日，2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席，并作《智能体在安全领域的应用实践》主题演讲，分享了在智能体在安全领域的突破性实践。他指出，百度通过将安全能力…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...