当前位置： 首页 > news >正文

大语言模型训练与推理模型构建源码解读(huggingface)

news 文章来源：https://blog.csdn.net/weixin_38252409/article/details/143301838 2025/1/12 19:42:35

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、llama训练模型构建源码解读
    • 1、模型构建代码(自己搭建)
    • 2、训练模型
    • 3、模型调用方法
    • 4、训练模型init方法(class LlamaForCausalLM(LlamaPreTrainedModel))
    • 5、训练模型forward方法(class LlamaForCausalLM(LlamaPreTrainedModel))
    • 6、训练模型loss方法(class LlamaForCausalLM(LlamaPreTrainedModel))
      • 1、loss计算代码解读
      • 2、构建模型输入内容与label标签
      • 3、input_ids与labels格式
  • 二、llam推理模型构建源码解读
    • 1、模型构建代码(自己搭建)
    • 2、推理模型
    • 3、模型调用方法
    • 4、推理模型init与forward方法(LlamaForCausalLM(LlamaPreTrainedModel))
  • 三、类LlamaModel(LlamaPreTrainedModel)
    • 1、LlamaModel(LlamaPreTrainedModel)的init方法
    • 2、LlamaModel(LlamaPreTrainedModel)的forward方法
      • 1、forward函数源码
      • 2、forward源码解读
  • 四、类LlamaDecoderLayer(nn.Module)源码解读

前言

我们已搭建了llama训练与推理方法，而llama模型来源huggingface提供。为此，本节来解读huggingface的llma模型训练与推理源码解读。

一、llama训练模型构建源码解读

我还是使用代码说下llama模型或大语言模型是如何调用llama模型，给出其对应构建流程，便于想深究的读者。

1、模型构建代码(自己搭建)

首先是模型搭建，我不在解读，如下代码：

model = AutoModelForCausalLM.from_pretrained(model_args.model_name_or_path,from_tf

相关文章：

大语言模型训练与推理模型构建源码解读(huggingface)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、llama训练模型构建源码解读1、模型构建代码(自己搭建)2、训练模型3、模型调用方法4、训练模型init方法(class LlamaForCausalLM(LlamaPreTrainedModel))5、训练模型forward方法(class Llam…...

编程日记 2024/10/30 13:19:52

第三十三篇：TCP协议如何避免/减少网络拥塞，TCP系列八

一、流量控制 一般来说，我们总是希望数据传输得更快一些，但是如果发送方把数据发送得太快，接收方可能来不及接收，造成数据的丢失，数据重发，造成网络资源的浪费甚至网络拥塞。所谓的流量控制（fl…...

编程日记 2024/10/30 13:18:51

并发编程（2）——线程管控

目录 二、day2 1. 线程管控 1.1 归属权转移 1.2 joining_thread 1.2.1 如何使用 joining_thread 1.3 std::jthread 1.3.1 零开销原则 1.3.2 线程停止 1.4 容器管理线程对象 1.4.1 使用容器 1.4.2 如何选择线程运行数量 1.5 线程id 二、day2 今天学习如何管理线程&a…...

编程日记 2024/10/30 13:16:50

【数据仓库】

数据仓库：概念、架构与应用 目录 什么是数据仓库数据仓库的特点数据仓库的架构 3.1 数据源层3.2 数据集成层（ETL）3.3 数据存储层3.4 数据展示与应用层 数据仓库的建模方法 4.1 星型模型4.2 雪花模型4.3 星座模型 数据仓库与数据库的区别数据…...

编程日记 2024/10/30 13:15:48

计算机毕业设计——ssm基于HTML5的互动游戏新闻网站的设计与实现录像演示2021

作者：程序媛9688开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等。 🌟文末获取源码数据库🌟感兴趣的可以先收藏起来，还有大家在毕设选题（免费咨询指导选题）&#xff0…...

编程日记 2024/10/30 13:10:43

ubuntu上申请Let‘s Encrypt HTTPS 证书

Ubuntu 16.04及以上版本通常自带Snapd，如果你的系统还没有安装，可以通过以下命令安装： 安装Certbot# 使用Snap安装Certbot，确保你获得的是最新版本： bash sudo snap install --classic certbot准备Certbot命令# 确保C…...

编程日记 2024/10/30 13:06:40

解决VMware虚拟机的字体过小问题

前言： （1）先装VMware VMware17Pro虚拟机安装教程(超详细)-CSDN博客 （2）通过清华等镜像网站安装好Ubuntu镜像，下面贴上链接 教程虚拟机配置我没有做，因为学校给了现成的虚拟机~~大家需要的自己…...

编程日记 2024/10/30 13:04:38

java-web-day6-下-知识点小结

JDBC JDBC --是sun公司定义的一套操作所有关系型数据库的规范, 也就是接口api 数据库驱动 --是各个数据库厂家根据JDBC规范的具体实现, 例如mysql的驱动依赖 Lombok 简介 Lombok是一个实用的java类库, 通过注解的方式自动生成构造器, getter/setter, equals, hashcode, toStr…...

编程日记 2024/10/30 13:03:37

Cisco Packet Tracer 8.0 路由器静态路由配置

文章目录 静态路由简介一、定义与特点二、配置与命令三、优点与缺点四、应用场景 一，搭建拓扑图二，配置pc IP地址三，pc0 ping pc1 timeout四，配置路由器Router0五，配置路由器Router1六，测试 静态路由简介 …...

编程日记 2024/10/30 13:02:35

Unity3D学习FPS游戏（3）玩家第一人称视角转动和移动

前言：上一篇实现了角色简单的移动控制，但是实际游戏中玩家的视角是可以转动的，并根据转动后视角调整移动正前方。本篇实现玩家第一人称视角转动和移动，觉得有帮助的话可以点赞收藏支持一下！ 玩家第一人称视角 修复小问…...

编程日记 2024/10/30 12:59:30

引领数字未来：通过企业架构推动数字化转型的策略与实践

在全球经济迅速数字化的背景下，企业正面临日益复杂的挑战。为了保持竞争优势，企业必须迅速调整其业务模式，采用先进的技术，推动业务创新。企业架构（EA）作为企业转型的战略工具，在这一过程中发挥…...

编程日记 2024/10/30 12:56:27

计算机毕业设计Python+大模型恶意木马流量检测与分类 恶意流量监测 随机森林模型 深度学习 机器学习 数据可视化 大数据毕业设计 信息安全 网络安全

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ Python大模型恶意木马流量检…...

编程日记 2024/10/30 12:55:27

ApsaraMQ Serverless 能力再升级，事件驱动架构赋能 AI 应用

本文整理于 2024 年云栖大会阿里云智能集团高级技术专家金吉祥（牟羽）带来的主题演讲《ApsaraMQ Serverless 能力再升级，事件驱动架构赋能 AI 应用》 云消息队列 ApsaraMQ 全系列产品 Serverless 化，支持按量付费、自适应弹性、跨可…...

编程日记 2024/10/30 12:54:25

Xcode 16.1 (16B40) 发布下载 - Apple 平台 IDE

Xcode 16.1 (16B40) 发布下载 - Apple 平台 IDE IDE for iOS/iPadOS/macOS/watchOS/tvOS/visonOS 发布日期：2024 年 10 月 28 日 Xcode 16.1 包含适用于 iOS 18.1、iPadOS 18.1、Apple tvOS 18.1、watchOS 11.1、macOS Sequoia 15.1 和 visionOS 2.1 的 SDK。Xco…...

编程日记 2024/10/30 12:52:23

使用ONNX Runtime对模型进行推理

今天的深度学习可谓是十分热门，好像各行各业的人都会一点。而且特别是Hinton获得诺奖后，更是给深度学习添了一把火。星主深知大家可能在平时仅仅将模型训练好后就不会去理会它了，至于模型的部署，很多人都没有相关经验。由于我最近…...

编程日记 2024/10/30 12:50:21

五款pdf转换成word免费版，谁更胜一筹？

作为一名在都市丛林中奋斗的打工人，每天处理各种文件是家常便饭。尤其是PDF和Word文档之间的转换，简直是日常工作中不可或缺的一部分。今天，我就来和大家分享一下我使用过的几款PDF转Word免费版工具，看看它们的表现如何。 一、福…...

编程日记 2024/10/30 12:48:19

【C++】踏上C++学习之旅（四）：细说“内联函数“的那些事

文章目录 前言1. "内联函数"被创造出来的意义2. 内联函数的概念2.1 内联函数在代码中的体现2.2 普通函数和内联函数的汇编代码 3. 内联函数的特性（重点）4. 总结 前言 本章来聊一聊C的创作者"本贾尼"大佬，为什么要创作出…...

编程日记 2024/10/30 12:46:18

SVN克隆或更新遇到Error: Checksum mismatch for xxx

文章目录 前言问题的产生探索解决方案正式的解决方法背后的故事总结 前言 TortoiseSVN 作为版本控制常用的工具，有一个更为人们熟知的名字 SVN，客观的讲SVN的门槛相比Git而言还是低一些的，用来存储一些文件并保留历史记录比较方便&#xff0…...

编程日记 2024/10/30 12:45:17

QT交互界面：实现按钮运行脚本程序

一.所需运行的脚本 本篇采用上一篇文章的脚本为运行对象，实现按钮运行脚本 上一篇文章：从0到1：QT项目在Linux下生成可以双击运用的程序（采用脚本）-CSDN博客 二.调用脚本的代码 widget.cpp中添加以下代码 #include &…...

编程日记 2024/10/30 12:44:16

驱动和芯片设计哪个难

驱动和芯片设计哪个难 芯片设计和驱动开发 芯片设计和驱动开发 都是具有挑战性的工作，它们各自有不同的难点和要求。 对于芯片设计，它是一个集高精尖于一体的复杂系统工程，涉及到从需求分析、前端设计、后端设计到流片的全过程。 芯片设计的…...

编程日记 2024/10/30 12:43:14

【云原生】云原生后端：监控与观察性

目录 引言一、监控的概念1.1 指标监控1.2 事件监控1.3 告警管理 二、观察性的定义三、实现监控与观察性的方法3.1 指标收集与监控3.2 日志管理3.3 性能分析 四、监控与观察性的最佳实践4.1 监控工具选择4.2 定期回顾与优化 结论参考资料 引言 在现代云原生架构中，监…...

编程日记 2024/10/30 12:42:12

在 ubuntu20.04 安装 docker

1、替换清华源 替换 sources.list 里面的内容 sudo vim /etc/apt/sources.list# 默认注释了源码镜像以提高 apt update 速度，如有需要可自行取消注释 deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse # deb-src htt…...

编程日记 2024/10/30 12:37:06

前端开发设计模式——观察者模式

目录 一、定义和特点 1. 定义 2. 特点 二、实现方式 1. 使用 JavaScript 实现观察者模式的基本结构 2. 实际应用中的实现示例 三、使用场景 1. 事件处理 2. 数据绑定 3. 异步通信 4. 组件通信 四、优点 1. 解耦和灵活性 2. 实时响应和数据一致性 3. 提高代码的可…...

编程日记 2024/10/30 12:36:05

永磁同步电机高性能控制算法（17）——无差拍预测转速控制

1.前言 前期写了比较多的关于无差拍预测电流控制的东西。 https://zhuanlan.zhihu.com/p/659205719https://zhuanlan.zhihu.com/p/659205719 https://zhuanlan.zhihu.com/p/660266190https://zhuanlan.zhihu.com/p/660266190 https://zhuanlan.zhihu.com/p/719591343https://z…...

编程日记 2024/10/30 12:34:02

【GIT】Visual Studio 中 Git 界面中， 重置 和 还原

在 Visual Studio 的 Git 界面中，“重置” 和 “还原” 是两个常用的 Git 操作。它们的主要区别在于应用场景和影响范围。 1. 重置（Reset） 重置用于更改当前分支的提交历史，通常用于撤销或删除某些提交。重置操作可能会更改 Git…...

编程日记 2024/10/30 12:33:01

开源一款前后端分离的企业级网站内容管理系统，支持站群管理、多平台静态化，多语言、全文检索的源码

大家好，我是一颗甜苞谷，今天分享一款前后端分离的企业级网站内容管理系统，支持站群管理、多平台静态化，多语言、全文检索的源码。 前言 在当今的数字化时代，企业网站和个人博客已成为信息传播和品牌建设的重要渠道。…...

编程日记 2024/10/30 12:30:58

【electron+vue3】使用JustAuth实现第三方登录（前后端完整版）

实现过程 去第三方平台拿到client-id和client-secret，并配置一个能够外网访问回调地址redirect-uri供第三方服务回调搭建后端服务，引入justauth-spring-boot-starter直接在配置文件中定义好第一步的三个参数，并提供获取登录页面的接口和回调…...

编程日记 2024/10/30 12:24:53

Amcor 如何借助 Liquid UI 实现SAP PM可靠性

背景介绍 安姆科是塑料行业的全球领军企业，该企业认识到 SAP 工厂维护（SAP PM）对于确保高效的维护管理的重要性。 在诸如制造业等高度依赖机械设备的行业中，SAP PM是一种通过数据驱动决策来最大限度减少停机时间、降低间接成本、…...

编程日记 2024/10/30 12:23:52

【Redis】常见基本全局命令

一、Redis俩大核心命令 由于Redis是以键值对的形式进行数据存取，自然就离不开不断的存储和获取，而其所对应的命令则是set和get，如此说来二者为Redis的核心基础命令也不为过。 作用：用于存储Stirng类型的数据 返回：当…...

编程日记 2024/10/30 12:22:51

探索国际数据空间（IDS）架构（上）

在当今数字化时代，数据的重要性日益凸显，而国际数据空间（IDS）作为一个新兴的概念，正逐渐成为数据管理和共享的关键领域。今天，我们就来一起探索一下 IDS 的精妙架构。 参考文章：国际数据空间&am…...

编程日记 2024/10/30 12:21:50

怎么免费做一个网站/目前主流搜索引擎是哪种

正常的求LIS的方法是用dp来做，时间复杂度为O(n^2),但是面对一些题目的时候这个复杂度就有点高了，就去学了一下nlogn的解法。主要运用到了二分查找，stl里面的lower_bound 也可以。 upper_bound（i） 返回的是键值为i的元素…...

编程日记 2025/1/12 17:34:48

深圳 营销型网站公司/青岛seo公司

第一周：做点计算1.1 第一个程序Eclipse是绝大多数人的唯一选择；如何在Eclipse中编辑、编译和运行程序；详解第一个程序：程序框架、输出、出错怎么办；做点计算：如何让程序输出算术结果1.2 数据是用变量来表示…...

编程日记 2025/1/12 16:30:47

wordpress用户勾选/平台seo什么意思

SRM：机房内部竞赛，哼唧。 描述 给一个 01 串设为其 S，询问是否存在只出现两次的 01 串 T。 这里的出现定义为存在一串下标 ，满足 且 。 输入格式 一行，一个 01 串 输出格式 一行，字母 Y 表示存在&#xff…...

编程日记 2025/1/12 12:12:47

微信网站是多少钱一年/百度指数功能模块有哪些

忙里偷闲读首诗–前言 对酒当歌，人生几何？譬如朝露，去日苦多。 你我皆星尘，离合奈何悲欢。不可忙于奔跑，而忘记思考我是谁?我从哪里来?我要到哪里去?不经思索的人生不值得一过。 中国古诗词，源远流长…...

编程日记 2025/1/12 10:38:51

五台网站建设/seo优化方法网站快速排名推广渠道

**前情提要：已可将模型载入gazebo与rviz，且可用按键控制 **《教程 Re:Zero ROS （五）—— 导入模型，关节控制器》 https://blog.csdn.net/Lovely_him/article/details/107806662 教程 Re:Zero ROS （六&#…...

编程日记 2025/1/12 9:39:12

网站建设全包公司推荐/seo是搜索引擎优化

重新安装了ubuntu12.04后，Ubuntu开机就出现：error：no such partitiongrub rescue >一般情况下，出现这类错误是引导文件出错或者系统找不到引导文件，而系统并没有坏，所以不用重新安装系统。需要进行如下的…...

编程日记 2025/1/12 6:54:53