当前位置：首页 > news >正文

大语言模型预训练、微调、RLHF

news 文章来源：https://blog.csdn.net/weixin_43509698/article/details/145086932 2025/2/7 2:04:43

转发，如有侵权，请联系删除：

1.【LLM】3：从零开始训练大语言模型（预训练、微调、RLHF）

4.基于 Qwen2.5-0.5B 微调训练 Ner 命名实体识别任务

CLUENER2020数据集在https://www.cluebenchmarks.com/introduce.html上无法下载，可以在openxlab.org.cn上下载，如下图所示：

感谢博主的分析，可以完整的进行微调

微调2步的测试结果

Pytorch实现11种常用学习率调整策略(自定义学习率衰减)
如果你的PyTorch优化器效果欠佳,试试这4种深度学习中的高级优化技术吧
PyTorch不同优化器的比较

大语言模型预训练、微调、RLHF

转发，如有侵权，请联系删除： 1.【LLM】3：从零开始训练大语言模型（预训练、微调、RLHF） 2.老婆饼里没有老婆，RLHF里也没有真正的RL 3.【大模型微调】一文掌握7种大模型微调的方法 4.基于 Qwen2.…...

编程日记 2025/1/13 9:20:32

vue3后台系统动态路由实现

动态路由的流程：用户登录之后拿到用户信息和token，再去请求后端给的动态路由表，前端处理路由格式为vue路由格式。 1）拿到用户信息里面的角色之后再去请求路由表，返回的路由为tree格式后端返回路由如下： …...

编程日记 2025/1/13 9:19:30

解决idea中无法拖动tab标签页的问题

1、按 Ctrl Alt S 打开设置，找到路径 File | Settings | Appearance & Behavior | Appearance 2、去掉勾选 Drag-and-drop with Alt pressed only 即可...

编程日记 2025/1/13 9:16:25

WMS仓库管理系统，Vue前端开发，Java后端技术源码（源码学习）

一、项目背景和建设目标随着企业业务的不断扩展，仓库管理成为影响生产效率、成本控制及客户满意度的重要环节。为了提升仓库作业的透明度、准确性和效率，本方案旨在构建一套全面、高效、易用的仓库管理系统（WMS）。该系统将涵盖库…...

编程日记 2025/1/13 9:13:21

25/1/12 嵌入式笔记学习esp32

了解了一下位选线和段选线的知识： 位选线： 作用：用于选择数码管的某一位，例如4位数码管的第1位，第2位） 通过控制位选线的电平（高低电平），决定当前哪一位数码管处于激活状…...

编程日记 2025/1/13 9:11:19

【NLP】ELMO、GPT、BERT、BART模型解读及对比分析

文章目录一、基础知识1.1 Word Embedding（词嵌入）1.2 词嵌入模型1.3 神经网络语言模型NNLM 二、ELMO2.1 ELMO的提出2.2 ELMO核心思想2.3 ELMO的优缺点三、GPT3.1 Transformer3.2 GPT简介3.3 GPT模型架构3.4 预训练及微调3.5 GPT和ELMO对比四、BERT4.1…...

编程日记 2025/1/13 9:09:17

go语言学习(数组,切片,字符串)

字符串如果里面存储的是汉字,那么其实就是存储的是UTF--8编码,所以一个字会对应多个字节.如果想要获取汉字的个数,可以使用rune,来处理unicode字符 length: utf8.RuneCountInString( s) 如果只使用len()获取的是字节的个数, 字符串的功能 1,获取字节长度 len(xx) 2,获取字…...

编程日记 2025/1/13 9:08:15

PM 实战 - 智能药盒PRD + 市场规模分析

写在前面智能硬件 PRD 实例资源很少，Po下个人作品，假定前提为to Boss需求，目标在于覆盖产品设计核心部分（用户画像Persona、产品逻辑图、产品架构图、软件原型图、硬件低保真设计、用例Use Case、硬件标准）。不是申请…...

编程日记 2025/1/13 9:06:11

SQL刷题快速入门（二）

其他章节：SQL刷题快速入门（一） 承接上一章节，本章主要讲SQL的运算符、聚合函数、SQL保留小数的几种方式三个部分运算符 SQL 支持多种运算符，用于执行各种操作，如算术运算、比较、赋值、逻辑运算等。以下…...

编程日记 2025/1/13 8:58:01

hive迁移后修复分区慢，怎么办？

我有1个30TB的分区表，客户给的带宽只有600MB，按照150%的耗时来算，大概要迁移17小时。使用hive自带的修复分区命令（一般修复分区比迁移时间长一点），可能要花24小时。于是打算用前面黄大佬的牛B方案。 Hive增…...

编程日记 2025/1/13 8:55:59

代码随想录算法训练营day27

代码随想录算法训练营 —day27 文章目录代码随想录算法训练营前言一、贪心算法理论基础二、455.分发饼干三、376. 摆动序列53. 最大子数组和总结前言今天是算法营的第27天，希望自己能够坚持下来！ 今日任务： ● 贪心算法理论基础 ● 455.…...

编程日记 2025/1/13 8:54:58

python 代码使用 DeepXDE 库实现了一个求解二维非线性偏微分方程（PDE）的功能

import deepxde as dde import numpy as np import matplotlib.pyplot as plt import tensorflow as tf# 设置时空计算域 Lx 1 # x 范围从 0 到 1 Ly 1 # y 范围从 0 到 1 Lt 0.05 # t 范围从 0 到 0.05 geom dde.geometry.Rectangle([0, 0], [Lx, Ly]) # 空间域 timed…...

编程日记 2025/1/13 8:52:56

【Go】：深入解析 Go 1.24：新特性、改进与最佳实践

前言 Go 1.24 尚未发布。这些是正在进行中的发布说明。Go 1.24 预计将于 2025 年 2 月发布。本文将深入探讨 Go 1.24 中引入的各项更新，并通过具体示例展示这些变化如何影响日常开发工作，确保为读者提供详尽而有价值的参考。新特性及改进综述 HTTP/2 …...

编程日记 2025/1/13 8:51:55

VUE3 一些常用的 npm 和 cnpm 命令，涵盖了修改源、清理缓存、修改 SSL 协议设置等内容。

以下是一些常用的 npm 和 cnpm 命令，涵盖了修改源、清理缓存、修改 SSL 协议设置等内容。 npm 常用命令 1. 修改 npm 源更改为淘宝的 npm 镜像源（可以提高安装速度）： bash复制代码 npm config set registry https://registry…...

编程日记 2025/1/13 8:47:49

【SpringBoot】@Value 没有注入预期的值

问题复现在装配对象成员属性时，我们常常会使用 Autowired 来装配。但是，有时候我们也使用 Value 进行装配。不过这两种注解使用风格不同，使用 Autowired 一般都不会设置属性值，而 Value 必须指定一个字符串值，因为其…...

编程日记 2025/1/13 8:31:33

【STM32-学习笔记-6-】DMA

文章目录 DMAⅠ、DMA框图Ⅱ、DMA基本结构Ⅲ、不同外设的DMA请求Ⅳ、DMA函数Ⅴ、DMA_InitTypeDef结构体参数①、DMA_PeripheralBaseAddr②、DMA_PeripheralDataSize③、DMA_PeripheralInc④、DMA_MemoryBaseAddr⑤、DMA_MemoryDataSize⑥、DMA_MemoryInc⑦、DMA_DIR⑧、DMA_Buff…...

编程日记 2025/1/13 8:30:32

js实现一个可以自动重链的websocket客户端

class WebSocketClient {constructor(url, callback, options {}) {this.url url; // WebSocket 服务器地址this.options options; // 配置选项（例如重试间隔、最大重试次数等）this.retryInterval options.retryInterval || 1000; // 重试间隔&#…...

编程日记 2025/1/13 8:28:30

企业总部和分支通过GRE VPN互通

PC1可以ping通PC2 1、首先按照地址表配置ip地址 2、分别在AR1和AR3上配置nat 3、配置GRE a 创建tunnel接口，并选择tunnel协议为GRE，为隧道创建一个地址，用作互联 b 为隧道配置源地址或者源接口，这里选择源接口；再为…...

编程日记 2025/1/13 8:24:26

油猴支持阿里云自动登陆插件

遇到的以下问题，都已在脚本中解决： 获取到的元素赋值在页面显示，但是底层的value并没有改写，导致请求就是获取不到数据元素的加载时机不定，尤其是弱网情况下，只靠延迟还是有可能获取不到，且登陆…...

编程日记 2025/1/13 8:22:24

【2024年华为OD机试】(C卷,100分)- 字符串筛选排序（Java JS PythonC/C++）

一、问题描述题目描述输入一个由N个大小写字母组成的字符串按照ASCII码值从小到大进行排序查找字符串中第K个最小ASCII码值的字母 (k > 1) 输出该字母所在字符串中的位置索引 (字符串的第一个位置索引为0) k如果大于字符串长度则输出最大ASCII码值的字母所在字符串…...

编程日记 2025/1/13 8:21:23

iOS - runtime总结

详细总结一下 Runtime 的核心内容： 1. 消息发送机制 // 消息发送的基本流程 id objc_msgSend(id self, SEL _cmd, ...) {// 1. 获取 isaClass cls object_getClass(self);// 2. 查找缓存IMP imp cache_getImp(cls, _cmd);if (imp) return imp(self, _cmd, ...);…...

编程日记 2025/1/13 8:19:20

第33 章 - ES 实战篇 - MySQL 与 Elasticsearch 的一致性问题

思维导图 0. 前言 MySQL 与 Elasticsearch 一致性问题是老生常谈了。网上有太多关于这方面的文章了，但是千篇一律，看了跟没看没有太大区别。在生产中，我们往往会通过 DTS 工具将 binlog 导入到 Kafka，再通过 Kafka 消费 binlog&…...

编程日记 2025/1/13 8:18:19

Artec Leo 3D扫描仪与Ray助力野生水生动物法医鉴定【沪敖3D】

挑战：捕获大型水生哺乳动物（如鲸鱼）的数据，搭建全彩3D模型，用于水生野生动物的法医鉴定、研究和保护工作。解决方案：Artec Eva、Artec Space Spider、Artec Leo、Artec Ray、Artec Studio、CT scans 效果&…...

编程日记 2025/1/13 8:12:12

PythonQT5打包exe线程使用

打包： pyinstaller --noconsole --onefile test.py–noconsole 表示不需要打开命令行修改：test.spec 一般项目里面需要用的资源文件，比如lib、png、exe等。需要单独修改spec文件 pathex[.],binaries[(D:/test.png, .),(D:/simsun.ttc, .…...

编程日记 2025/1/13 8:09:09

【Powershell】Windows大法powershell好（二）

PowerShell基础（二） 声明：该笔记为up主泷羽的课程笔记，本节链接指路。警告：本教程仅作学习用途，若有用于非法行为的，概不负责。 1. powershell 执行外部命令 powershell也可以执行一些外部的…...

编程日记 2025/1/13 8:08:08

前端学习-环境this对象以及回调函数（二十七）

目录前言目标环境对象作用环境对象this是什么？ 判断this指向的粗略规则是什么？ 回调函数目标常见的使用场景综合案例：Tab任务栏切换总结前言男儿何不带吴钩，收取关山五十州目标能够分析判断函数运行在不…...

编程日记 2025/1/13 8:04:02

Element-plus、Element-ui之Tree 树形控件回显Bug问题。

需求：提交时，需要把选中状态和半选中状态的数据id提交。如图所示： 数据回显时，会出现代码如下： <template><el-tree ref"treeRef" :data"tree" show-checkbox node-key"id" …...

编程日记 2025/1/13 8:03:01

互联网全景消息(10)之Kafka深度剖析(中)

一、深入应用 1.1 SpringBoot集成Kafka 引入对应的依赖。 <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupI…...

编程日记 2025/1/13 8:00:59

Oracle Dataguard（主库为双节点集群）配置详解（5）：将主库复制到备库并启动同步

Oracle Dataguard（主库为双节点集群）配置详解（5）：将主库复制到备库并启动同步目录 Oracle Dataguard（主库为双节点集群）配置详解（5）：将主库复制到备库并启动…...

编程日记 2025/1/13 7:57:55

pytorch小记（一）：pytorch矩阵乘法：torch.matmul(x, y)

pytorch小记（一）：pytorch矩阵乘法：torch.matmul（x, y）/ x y 代码代码 1：torch.matmul(x, y)输入张量：计算逻辑：输出结果： 代码 2：y y.view(4,1)…...

编程日记 2025/1/13 7:53:51

顺德门户网站建设公司/crm系统成功案例分享ppt

1. 从系统加电起所执行程式的顺序为：ROM BIOS bootsect.S setup.S head.S main.c2. ROM BIOS当PC机加电后，80x86结构的CPU将自动进入实模式，并从地址0xFFFF0开始自动执行某些系统的检测。并在物理地址0处开始初始化中断向量。…...

编程日记 2025/2/7 2:04:29

一个购物网站多少钱/美业推广平台

1.简介 SPI 全称为 Service Provider Interface，是一种服务发现机制。SPI 的本质是将接口实现类的全限定名配置在文件中，并由服务加载器读取配置文件，加载实现类。这样可以在运行时，动态为接口加载实现类。正因此特性&#xff0c…...

编程日记 2025/2/7 1:13:05

学习之家网站/龙华线上推广

1、响应头文件Open Buffer{#进行判断后端服务返回的响应文件是否大大于响应头大小设置if proxy_buffer_size > c.proxy_buffer_size:#进行缓存,每个连接缓冲区最大数量，proxy_buffersc.proxy_buffer_size(number,size) >> connect.hash(c.proxy_buffer_siz…...