当前位置： 首页 > news >正文

大语言模型数据流程源码解读(基于llama3模型)

news 文章来源：https://blog.csdn.net/weixin_38252409/article/details/143302225 2025/1/13 15:47:28

文章目录

  • 前言
  • 一、数据进入LlamaForCausalLM(LlamaPreTrainedModel)类
  • 二、数据进入LlamaModel(LlamaPreTrainedModel)类
    • 1、input_ids的embedding编码
    • 2、position_ids位置获取
    • 3、causal_mask因果mask构建
      • 1、causal_mask调用
      • 2、因果mask代码解读(_update_causal_mask)
    • 4、hidden_states获取
    • 5、decoder_layers解码
  • 三、数据进入LlamaDecoderLayer(nn.Module)类
    • 1、LlamaDecoderLayer类源码解读
    • 2、input_layernorm结构处理hidden_states输入
  • 四、数据进入LlamaSdpaAttention(LlamaAttention)类
    • 1、LlamaSdpaAttention类源码解读
    • 2、qkv获取
    • 3、位置rotary_emb编码
      • 1、位置编码调用
      • 2、位置编码源码
    • 4、位置编码应用
      • 1、位置编码应用调用方法
      • 2、位置编码apply_rotary_pos_emb应用
    • 5、past_key_value更新
    • 6、key与value重复
    • 7、因果关系处理
    • 8、attention实现方法torch.nn.functional.scaled_dot_product_attention
    • 9、attn_output进行线性
    • 10、返回值
  • 五、数据再次进入LlamaDecoderLayer(nn.Module)类
    • 1、hidden_states返回值处理
    • 2、FFN操作
    • 3、输出内容outputs
  • 六、数据再次进入LlamaModel类
    • 1、获取hidden_states内容
    • 2、hidden_states的norm方法
    • 3、后续源码
  • 七、数据再次进入LlamaForCausalLM类
    • 1、lm_head加工
    • 2、loss计算？和返回内容

前言

如果只是简单构建训练与推理的大语言模型，还是比较简单，直接使用huggignface调用即可。然而，理解其源码或内部原理是比较麻烦的，尽管我在之前文章给出了很多解释，但我还是想通过数据流走向来解读模型整个流程与源码内部机理。这样，我们可方便更深入的理解大语言模型！

一、数据进入LlamaForCausalLM(LlamaPreTrainedModel)类

数据转成input_ids与attention_mask后该如何转换，我们首先看到原始数据会进入到下面调用方法self.model，其如下图：

在这里插入图片描述

我们知道input_ids与attention_mask是[1,96]，是未进行embedding！

二、数据进入LlamaModel(LlamaPreTrainedModel)类

1、input_ids的embedding

相关文章：

大语言模型数据流程源码解读(基于llama3模型)

文章目录 前言一、数据进入LlamaForCausalLM(LlamaPreTrainedModel)类二、数据进入LlamaModel(LlamaPreTrainedModel)类1、input_ids的embedding编码2、position_ids位置获取3、causal_mask因果mask构建1、causal_mask调用2、因果mask代码解读(_update_causal_mask)4、hidden_s…...

编程日记 2024/10/30 6:28:15

[蓝桥杯 2015 省 A] 饮料换购

题目描述 乐羊羊饮料厂正在举办一次促销优惠活动。乐羊羊 C 型饮料，凭 3 个瓶盖可以再换一瓶 C 型饮料，并且可以一直循环下去(但不允许暂借或赊账)。 请你计算一下，如果小明不浪费瓶盖，尽量地参加活动，那么&#xff…...

编程日记 2024/10/30 6:27:14

K8S测试pod内存和CPU资源不足

只设置requests参数 mysql主从pod启动后监控 读压测之后 同时设置limits和requests，只调低内存值 监控 压力测试 同时设置limits和requests，只调低CPU值 初始状态 开始压测 结论 对于CPU，如果pod中服务使用CPU超过设置的limits&…...

编程日记 2024/10/30 6:24:11

rabbitmq 使用注意事项

1，注意开启的端口号，一共四个端口号，1883是mqtt连接的端口号，如果没开，是连接不上的需要手动起mqtt插件。 //开始mqtt插件服务 rabbitmq-plugins enable rabbitmq_mqtt 2，15672端口是http网页登录的管理后…...

编程日记 2024/10/30 6:23:10

＜项目代码＞YOLOv8 夜间车辆识别＜目标检测＞

YOLOv8是一种单阶段（one-stage）检测算法，它将目标检测问题转化为一个回归问题，能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法（如Faster R-CNN），YOLOv8具有更高的…...

编程日记 2024/10/30 6:21:09

xterm.js 库作用

前言：xterm.js 是一个用于在网页上模拟终端的强大 JavaScript 库。 一、在网页中实现终端模拟 1. 提供类似终端的界面 xterm.js可以在浏览器中创建一个看起来和行为都类似于传统终端的界面。这包括显示命令行提示符、接受用户输入、显示命令输出等。 例如&#…...

编程日记 2024/10/30 6:19:06

在Excel中如何快速筛选非特定颜色

Excel中的自动筛选是个非常强大的工具，不仅可以筛选内容，而且可以筛选颜色，例如筛选A列红色单元格。但是有时希望筛选除了红色之外的单元格（下图右侧所示），其他单元格的填充色不固定，有几种颜色…...

编程日记 2024/10/30 6:18:04

kotlin定时器和主线程定时器

场景 最近要用kotlin写一个每隔一段时间切视频并截图 刷刷的就写出来了，很快啊 timerTask object : TimerTask() {override fun run() {captureWindow()if ((group 1) * 4 > urls.size) {showDialog()timerTask.cancel()timer.cancel()}groupupdatePlayers(…...

编程日记 2024/10/30 6:17:02

vscode不能执行vue命令/ vue : 无法加载文件

问题： 解决： 1. 在Windows应用中找到Windows PowerShell，以管理员运行： 2. 在命令框输入： set-ExecutionPolicy RemoteSigned， 然后输入A即可解决...

编程日记 2024/10/30 6:16:01

1.4 STL C++面试问题

1.4.1 说说STL的基本组成部分 总结 STL 的基本组成部分包括容器、算法、迭代器、函数对象和仿函数和适配器。通过这些组件，STL 提供了高效、灵活和可复用的代码结构，极大地提高了 C 的开发效率和程序的可维护性。STL 的设计思想使得算法和数据结构的使…...

编程日记 2024/10/30 6:13:59

Bash、sh 和 Shell都弄混了？

在Linux和Unix系统中，Bash、sh 和 Shell 都与命令行解释器相关，但它们各自的含义和作用略有不同。以下是它们之间的关系和区别： Shell Shell 是一个通用术语，指的是操作系统中负责解释和执行用户命令的程序。它是用户与操作系统…...

编程日记 2024/10/30 6:12:58

架构师备考专栏-导航页

简介 架构师备考专栏——软考系统架构师考试的学习宝典，集合了全面覆盖架构师考试大纲的精华文章。每篇文章都为本人手输,并校对数遍后发表，在此我保障每篇文章的质量绝对过关。诚邀对架构师软考感兴趣的朋友们收藏此页面，并根据个人所需高效…...

编程日记 2024/10/30 6:11:57

STM32-Cube定时器TIM

一、内部时钟源 1、创建项目 File → New → STM32 project选择STM32F103C8T6单片机，命名TIM 2、配置单片机 1.打开USART1，方便我们与电脑连接查看数据 开启UART1并开启中断。 2、设置时钟源 开启外部高速晶振 将时钟频率设置为72MHz 设置调试模…...

编程日记 2024/10/30 6:10:56

Webpack 是什么? 解决了什么问题? 核心流程是什么?

在前端开发中，Webpack 无疑是一个举足轻重的工具。它作为一个静态资源打包工具，能够帮助开发者将项目中的各种资源高效整合，以便于在浏览器中加载和执行。本文将深入探讨 Webpack 的核心功能、解决的问题以及 Webpack的核心流程。 Webpack是什…...

编程日记 2024/10/30 6:09:54

Jenkins面试整理-Jenkins 的主要用途是什么？

Jenkins 的主要用途 是在软件开发流程中实现自动化，尤其是在持续集成（CI）和持续交付/部署（CD）中。具体来说，Jenkins 的主要用途包括： 1. 持续集成（CI）： ● Jenkins 自动从版本控制系统（如 Git、SVN）中拉取代码，自动化地编译、构建和测试代码。 ● 每当开发人员提…...

编程日记 2024/10/30 6:08:53

Linux下使用C/C++进行UDP网络编程

UDP 是User Datagram Protocol 的简称，中文名是用户数据报协议，是一种无连接、不可靠的协议，同样它也是工作在传顺层。它只是简单地实现从一端主机到另一端主机的数据传输功能，这些数据通过 IP 层发送，在网络中传输&am…...

编程日记 2024/10/30 6:07:52

【JavaEE初阶】网络原理—关于TCP协议值滑动窗口与流量控制，进来看看吧！！！

前言 🌟🌟本期讲解关于TCP协议的重要的机制“连接的建立和断开”~~~ 🌈感兴趣的小伙伴看一看小编主页：GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 &#x1…...

编程日记 2024/10/30 6:04:47

无人机避障——使用三维PCD点云生成的2D栅格地图PGM做路径规划

着重介绍通过对三维 PCD 点云进行处理生成 2D 栅格地图 PGM，而后将该 PGM 地图充分运用到无人系统路径规划之中，使得无人机能够依据此规划合理避开飞行路线上可能出现的障碍物。（解决如何使用PGM的问题） Hybrid A*算法 参考博客…...

编程日记 2024/10/30 6:03:44

supermall项目上拉加载bug分析

1.bug分析 bug出现的过程是这样的：better-scroll框架会计算滚动内容的高度(通过BScroll对象的scrollerHeight属性记录滚动内容的高度) 由于内容中的图片资源还未加载成功 就已经完成计算 导致计算结果错误 而计算之后 图片资源随之加载完成 这时候better-scroll框架…...

编程日记 2024/10/30 6:02:43

【linux网络编程】| socket套接字 | 实现UDP协议聊天室

前言：本节内容将带友友们实现一个UDP协议的聊天室。 主要原理是客户端发送数据给服务端。 服务端将数据再转发给所有链接服务端的客户端。 所以， 我们主要就是要实现客户端以及服务端的逻辑代码。 那么， 接下来开始我们的学习吧。 ps:本节内容…...

编程日记 2024/10/30 6:01:42

第二届开放原子大赛-开源工业软件算法集成大赛即将启动！

第二届开放原子大赛-开源工业软件算法集成大赛作为开放原子开源基金会组织举办的开源技术领域专业赛事，聚焦开源底座框架平台建设，通过组件化集成的开发模式，丰富平台功能模块，拓展其应用场景，以此促进工业软件生态的繁…...

编程日记 2024/10/30 5:59:36

PXC集群（Percona XtraDB Cluster ）

一、简介 基于Galera Cluster技术的开源分布式数据库解决方案，它允许你在多个MySQL服务器之间创建一个同步的多主复制集群。 特点： * 多主复制架构: PXC集群支持多主复制，每个节点都可以同时读写数据，这使得应用程序可以更灵活地进行负载均衡和高可用性设置。* 同步复制:…...

编程日记 2024/10/30 5:58:35

分布式光伏是什么意思？如何高效管理？

分布式光伏系统是指在用户现场或靠近用电现场配置较小的光伏发电供电系统，以满足特定用户的需求。根据通知，分布式光伏系统主要有以下几类定义： 10kV以下电压等级接入，且单个并网点总装机容量不超过6MW的分布式电源：这…...

编程日记 2024/10/30 5:56:34

提问GPT

1 理解GPT AI模型即采用深度学习技术的人工神经网络。 你不会被AI取代，而是会被熟练运用AI的人取代 1.1 问答或对话是普通用户与这一轮新ＡＩ产品的典型交互方式。 GPT生成式预训练转换器 了解当前GPT产品的形式： 通用聊天机器人…...

编程日记 2024/10/30 5:55:33

李飞飞团队新突破：低成本高泛化机器人训练法，零样本迁移成功率90%！

在机器人训练中，如何高效地利用模拟环境一直是研究者们关注的重点问题。 近日，美国斯坦福大学李飞飞教授团队提出了一种突破性的“数字表亲”（digital cousins）概念。这一创新方法既保留了数字孪生的优势，又大大降低了…...

编程日记 2024/10/30 5:54:32

PHP内存马：不死马

内存马概念 内存马是无文件攻击的一种常用手段，利用中间件的进程执行某些恶意代码。首先要讲的是PHP不死马，实质上就是直接用代码弄一个死循环，强占一个 PHP 进程，并不间断的写一个PHP shell，或者执行一段代码。 不死…...

编程日记 2024/10/30 5:53:31

【python】OpenCV—Connected Components

文章目录 1、任务描述2、代码实现3、完整代码4、结果展示5、涉及到的库函数6、参考 1、任务描述 基于 python opencv 的连通分量标记和分析函数，分割车牌中的数字、号码、分隔符 cv2.connectedComponentscv2.connectedComponentsWithStatscv2.connectedComponents…...

编程日记 2024/10/30 5:51:29

【优选算法篇】前缀之序，后缀之章：于数列深处邂逅算法的光与影

文章目录 C 前缀和详解：基础题解与思维分析前言第一章：前缀和基础应用1.1 一维前缀和模板题解法（前缀和）图解分析C代码实现易错点提示代码解读题目解析总结 1.2 二维前缀和模板题解法（二维前缀和）图解分析C…...

编程日记 2024/10/30 5:50:28

win10 更新npm 和 node

win10 更新npm 和 node win10 更新 npm winR 输入cmd，打开命令行，并输入如下 # 查看当前npm版本 npm -v # 清缓存 npm cache clean --force # 强制更新npm，试过npm update -g，没起作用，版本没变化 npm install -g …...

编程日记 2024/10/30 5:48:25

搜索引擎算法更新对网站优化的影响与应对策略

内容概要 随着互联网的不断发展，搜索引擎算法也在不断地进行更新和优化。了解这些算法更新的背景与意义，对于网站管理者和优化人员而言，具有重要的指导意义。不仅因为算法更新可能影响到网站的排名，还因为这些变化也可能为网站带…...

编程日记 2024/10/30 5:47:24

上海老闵行网站建设/新塘网站seo优化

大家认为，自己这辈子做过的最正确的事情是什么？每个人都有自己心中的答案。如果让小灰来回答，小灰会毫不犹豫的说：“我这辈子做过最正确的事情，就是选择做公众号，或者更笼统的说，是对于个人副业…...

编程日记 2025/1/13 15:32:12

企业展示网站模板/谷歌账号注册

在Word2010中，“开始”选项卡“字体”组中“B”图形按钮的作用是让选定对象变为粗体。任何地点访问您的文件。Word 2010 旨在向您提供最上乘的文档格式设置工具，利用它还可更轻松、高效地组织和编写文档，并使这些文档唾手可得，无论…...

编程日记 2025/1/13 14:18:19

cms网站系统/网络营销方法有什么

????????关注后回复 “进群” ，拉你进程序员交流群????????平时工作累了，空(mo)闲(yu)时最喜欢逛的个人博客之一就是阮一峰老师的博客，昨天他的博客平台看到一篇文章(https://www.ruanyifeng.com/blog/2021/06/drunk-post-of…...

编程日记 2025/1/13 13:31:56

wordpress怎么绑定paypal/黄页88网官网

这款经典的文本编辑器提供了所有的基本功能和一些让你自定义你的体验的令人兴奋的功能。• 来源：linux.cn • 作者：Seth Kenlon • 译者：geekpi •(本文字数：1861，阅读时长大约：2 分钟)有了 XEDIT 、jEdit、…...

编程日记 2025/1/13 13:08:13

做跨境的网站/营销软件

前一段写了一篇“使用Windows Mobile 6.5访问Exchange2010邮箱”，看到大家很感兴趣，并有朋友询问如何使用手机版的OC,今天整好有时间，把这段内容给补充上，希望能给朋友们帮上忙。当然如果想用手机和公司的OC通信，我们需…...

编程日记 2025/1/13 12:24:39

广西建设工会网站/防恶意竞价点击软件

阿里云服务器 发送邮箱 STMP 25端口 465端口问题 PHPMailer是一个用于发送电子邮件的PHP函数包。它提供的功能包括： *.在发送邮时指定多个收件人，抄送地址，暗送地址和回复地址*.支持多种邮件编码包括：8bit，base64&…...

编程日记 2025/1/13 11:03:31