当前位置： 首页 > news >正文

大语言模型参数传递、model 构建与tokenizer构建（基于llama3模型）

news 2026/2/8 8:14:39

文章目录

  • 前言
  • 一、传递参数构建
    • 1、构建模型参数
    • 2、构建数据参数
    • 3、构建训练参数
    • 4、类似parse方式解析数据、模型、训练参数
  • 五、构建tokenizer与model
    • 1、tokenizer与model调用代码
    • 2、tokenizer实现
    • 2、model实现

前言

上一篇说到huggingface的参数传递理论方法，本篇文章应用与llama3参数构建实践代码开发。并在参数传递基础上构建模型model与tokenizer。

提示：使用huggingface方法传参与模型构建！

一、传递参数构建

参数还是很简单，一个模型参数、数据参数和trainer训练参数，我也不在解读，直接给出。

1、构建模型参数

模型参数一般都是载入模型、载入tokenizer等路径啥的，没啥说的，直接给出方法，如下：

@dataclass
class ModelArguments:"""Arguments pertaining to which model/config/tok

相关文章：

大语言模型参数传递、model 构建与tokenizer构建（基于llama3模型）

文章目录 前言一、传递参数构建1、构建模型参数2、构建数据参数3、构建训练参数4、类似parse方式解析数据、模型、训练参数五、构建tokenizer与model1、tokenizer与model调用代码2、tokenizer实现2、model实现前言 上一篇说到huggingface的参数传递理论方法，本篇文章应用与ll…...

编程日记 2024/10/28 21:37:23

使用 `screen` + `nohup` 实现高效日志记录和多环境任务管理

使用 screen nohup 实现高效日志记录和多环境任务管理 在深度学习模型训练中，特别是在服务器上运行长时间的任务时，有效的任务管理和日志记录至关重要。我们通常需要在后台运行多个任务，同时为每个任务配置不同的 conda 环境。通过结合使用…...

编程日记 2024/10/28 21:36:22

【探索数字孪生，引领未来技术】

在数字化浪潮的推动下，数字孪生技术正成为连接虚拟与现实的桥梁，它不仅是工业互联网的基石，更是智慧城市、智慧园区、智慧楼宇以及元宇宙构建的核心。为了帮助更多专业人士掌握这一前沿技术，我们荣幸地宣布，“新质技术…...

编程日记 2024/10/28 21:35:21

Tcp_Sever（线程池版本的 TCP 服务器）

Tcp_Sever（线程池版本的 TCP 服务器） 前言1. 功能介绍及展示1.1 服务端连接1.2 客户端连接（可多个用户同时在线连接服务端）1.3 功能服务1.3.1 defaultService（默认服务）1.3.2 transform（大小写转…...

编程日记 2024/10/28 21:32:17

第十一章 Vue生命周期及生命周期的四个阶段

目录 一、引言 1.1. Vue生命周期的具体阶段 1.2. 每个阶段的具体作用和常用场景 1.3. 生命周期钩子函数 ​二、代码示例 三、运行效果 一、引言 Vue生命周期是指Vue组件实例从创建到销毁的整个过程。在这个过程中，组件经历了一系列的阶段，每个阶段…...

编程日记 2024/10/28 21:31:15

展厅展会客流显示屏的客流统计功能如何实现

随着科技的发展，展厅和展会的管理越来越智能化。客流显示屏作为一种高效的管理工具，能够实时显示参观人数，帮助主办方更好地了解客流情况，优化资源配置。本文将详细介绍展厅展会客流显示屏的客流统计功能如何实现，分为…...

编程日记 2024/10/28 21:30:14

golang正则表达式的使用及举例

正则表达式很强大，在一些场合如抓包，爬虫等方面很有用。在 Go语言中，正则表达式通过标准库 regexp 提供支持。使用正则表达式可以进行字符串匹配、替换和分割等操作。 以下是正则表达式的基本使用方法及示例： 1. 导入 regexp 包 …...

编程日记 2024/10/28 21:29:13

Flutter杂学: iOS 上启用自动填充和关联域

下面是详细的配置和代码，以确保在 iOS 上启用自动填充和关联域（Associated Domains）功能。 配置步骤 1. 在 Apple Developer 控制台中启用 Associated Domains 登录 Apple Developer。导航至您的 App ID 设置页面。找到您要配置的 App ID&…...

编程日记 2024/10/28 21:27:12

接口自动化-框架搭建（Python+request+pytest+allure）

使用代码如何开展接口自动化测试。 一 选择自动化测试用例 业务流程优先，单接口靠后，功能稳定优先，变更频繁不选。 二 搭建自动化测试环境 （1）安装python编译器3.7版本以上--自行安装 （2）安…...

编程日记 2024/10/28 21:26:07

[论文阅读]Constrained Decision Transformer for Offline Safe Reinforcement Learning

Constrained Decision Transformer for Offline Safe Reinforcement Learning Proceedings of the 40th International Conference on Machine Learning (ICML), July 23-29, 2023 https://arxiv.org/abs/2302.07351 泛读只需要了解其核心思想即可。 安全强化学习(Safe Rei…...

编程日记 2024/10/28 21:25:05

工具_Nginx

文章目录 location语法介绍跨域配置https配置http重定向到https配置反向代理配置负载均衡配置upstream配置负载均衡算法（1）rr轮询（默认）（2）wrr加权轮询（weight）（3&#x…...

编程日记 2024/10/28 21:23:02

web开发Model1

WEB开发模式–Model 1 Model1是指基于JSPJavaBean的开发模式，JSP负责web的相关部分，包括数据的展示，请求逻辑的控制等，JavaBean负责业务的逻辑部分，包括数据的存取，业务的实现。 这是我写的一个小项目&…...

编程日记 2024/10/28 21:21:00

ImportError: cannot import name ‘Sequential‘ from ‘keras.models‘

报错信息 ImportError: cannot import name Sequential from keras.models错误代码示例 import tensorflow as tf from keras.models import Sequential # 报错行model Sequential()错误分析 这个错误通常发生在 TensorFlow 和 Keras 的版本不兼容时。TensorFlow 2.x 版本…...

编程日记 2024/10/28 21:19:59

python实战（二）——房屋价格回归建模

一、任务背景 本章将使用一个经典的Kaggle数据集——House Prices - Advanced Regression Techniques进行回归建模的讲解。这是一个房价数据集，与我们熟知的波士顿房价数据集类似，但是特征数量要更多，数据也要更为复杂一些。下面，…...

编程日记 2024/10/28 21:18:58

UHF机械高频头的知识和待学习的疑问

电路图如上所示： 实物开盖清晰图如下： 待学习和弄懂的知识： 这是一个四腔的短路线谐振。分别是输入调谐，放大调谐，变频调谐和本振 第一个原理图输入为75欧（应该是面向有同轴线的天线了）如下图…...

编程日记 2024/10/28 21:17:57

深入理解 SQL 中的 WITH AS 语法

在日常数据库操作中，SQL 语句的复杂性往往会影响到查询的可读性和维护性。为了解决这个问题，Oracle 提供了 WITH AS 语法，这一功能可以极大地简化复杂查询，提升代码的清晰度。本文将详细介绍 WITH AS 的基本用法、优势以及一些实际…...

编程日记 2024/10/28 21:14:54

同三维T80005JEHA-4K60 4K60超高清HDMI/AV解码器

1路HDMI1路CVBS1路3.5音频输出，HDMI支持4K60，支持1路4K60解码，1路高清转码 产品简介： T80005JEHA-4K60是一款4K60超高清解码器，支持1路HDMI/CVBS解码输出，HDMI支持4K60，适用于各种音视频解决方…...

编程日记 2024/10/28 21:13:53

深信服秋季新品重磅发布：安全GPT4.0数据安全大模型与分布式存储EDS新版本520，助力数字化更简单、更安全

10月23日，深信服举办2024秋季新品发布会。发布会上，深信服正式推出了最新的创新成果：实现动静态数据分类分级和数据风险自动研判分析的安全GPT4.0、具备卓越可靠性和AI勒索防护能力的分布式存储EDS新版本520。通过这些新品和能力，…...

编程日记 2024/10/28 21:12:52

Flutter图片控件（七）

1、加载图片 import package:flutter/material.dart;void main() {runApp(const MaterialApp(home: MyHomePage(),)); }class MyHomePage extends StatelessWidget {const MyHomePage({super.key});overrideWidget build(BuildContext context) {return Scaffold(appBar: AppB…...

编程日记 2024/10/28 21:09:49

JavaEE初阶---文件IO总结

文章目录 1.文件初识2.java针对于文件的操作2.1文件系统的操作---file类2.2文件内容的操作---流对象的分类2.4字符流的操作》文本文件2.4.1异常的说明2.4.2第一种文件内容的读取方式2.4.3第二种读取方式2.4.4close的方法的介绍2.4.5close的使用优化操作2.4.6内容的写入 2.3字节…...

编程日记 2024/10/28 21:08:48

业务系统对接大模型的基础方案：架构设计与关键步骤

业务系统对接大模型：架构设计与关键步骤 在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...

编程新知 2026/2/8 4:53:03

OpenLayers 可视化之热力图

注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 热力图（Heatmap）又叫热点图，是一种通过特殊高亮显示事物密度分布、变化趋势的数据可视化技术。采用颜色的深浅来显示…...

编程新知 2025/12/9 21:15:58

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动（如演唱会、马拉松赛事、高考中考等）期间，城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例，暖城商圈曾因观众集中离场导致周边…...

编程新知 2026/1/23 7:15:40

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

编程新知 2026/1/31 23:44:39

智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制

在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...

编程新知 2026/2/6 1:04:23

使用LangGraph和LangSmith构建多智能体人工智能系统

现在，通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战，比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...

编程新知 2026/1/26 13:48:59

DingDing机器人群消息推送

文章目录 1 新建机器人2 API文档说明3 代码编写 1 新建机器人 点击群设置 下滑到群管理的机器人，点击进入 添加机器人 选择自定义Webhook服务 点击添加 设置安全设置，详见说明文档 成功后，记录Webhook 2 API文档说明 点击设置说明 查看自…...

编程新知 2026/1/30 4:18:53

Vite中定义@软链接

在webpack中可以直接通过符号表示src路径，但是vite中默认不可以。 如何实现： vite中提供了resolve.alias：通过别名在指向一个具体的路径 在vite.config.js中 import { join } from pathexport default defineConfig({plugins: [vue()],//…...

编程新知 2026/1/24 13:26:57

MySQL 主从同步异常处理

阅读原文：https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主，遇到的这个错误： Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一，通常表示&#xff…...

编程新知 2025/11/7 10:02:17

0x-3-Oracle 23 ai-sqlcl 25.1 集成安装-配置和优化

是不是受够了安装了oracle database之后sqlplus的简陋，无法删除无法上下翻页的苦恼。 可以安装readline和rlwrap插件的话，配置.bahs_profile后也能解决上下翻页这些，但是很多生产环境无法安装rpm包。 oracle提供了sqlcl免费许可&#xff0c…...

编程新知 2025/11/27 2:47:09