当前位置： 首页 > news >正文

PyTorch Autograd内部实现

news 2026/2/7 21:57:43

原文：

克補 爆炸篇 25s (youtube.com)

必应视频 (bing.com)icon-default.png?t=N7T8https://www.bing.com/videos/riverview/relatedvideo?&q=PyTorch+autograd&qpvt=PyTorch+autograd&mid=1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORM=VRDGAR

前面只要有一个node的requires_grad为True，则后面所有node都要为True:

forward阶段，ctx里存放其backward操作需要的值，也就是forward时的部分input或output值；

requires_grad为False的(Tensor b)，不会计算其梯度；

requires_grad为True，且is_leaf为Tree的，会将梯度累积到其grad成员上；

优化：如果is_leaf=False，则说明不需要该Tensor的grad，所以，grad_fn直接将output梯度传递给下一个grad_fn了，绕开对该Tensor的grad的更新；（节省一步梯度加和操作的时间，也节省一个grad数据存储空间）

用_version号来防止backward时用到的activation在之前发生改动；如果_version号跟本次backward源头的_version号不同了，则报错；

我：Pipeline并行，如果直接做，就会有这种报错出现；

如果是Add操作这种，压根不需要某些activation的值，所以这种值发生改动，不影响backward传递参数，因此就不会报错

每个运算，是一个独立的operator，对应backward也是独立的：

Tensor.detach()，用在什么情况：想保留结果值，但又想把原始计算图垃圾回收释放掉；新Tensor和老Tensor共享数据内存(data)，但不在hold指向计算图的reference了(grad_fn=None)

 

相关文章：

PyTorch Autograd内部实现

原文： 克補 爆炸篇 25s (youtube.com) 必应视频 (bing.com)https://www.bing.com/videos/riverview/relatedvideo?&qPyTorchautograd&qpvtPyTorchautograd&mid1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORMVRDGAR 前面只要有一个node的re…...

编程日记 2024/7/21 3:13:05

微信小程序 vant-weapp的 SwipeCell 滑动单元格 van-swipe-cell 滑动单元格不显示 和 样式问题 滑动后删除样式不显示

在微信小程序开发过程中 遇到个坑 此处引用 swipeCell 组件 刚开始是组件不显示 然后又遇到样式不生效 首先排除问题 是否在.json文件中引入了组件 {"usingComponents": {"van-swipe-cell": "vant/weapp/swipe-cell/index","van-cell-gro…...

编程日记 2024/7/21 3:11:03

3.4、matlab实现SGM/BM/SAD立体匹配算法计算视差图

1、matlab实现SGM/BM/SAD立体匹配算法计算视差图简介 SGM（Semi-Global Matching）、BM（Block Matching）和SAD（Sum of Absolute Differences）都是用于计算立体匹配（Stereo Matching）的…...

编程日记 2024/7/21 3:07:59

【瑞吉外卖 | day07】移动端菜品展示、购物车、下单

文章目录 瑞吉外卖 — day71. 导入用户地址簿相关功能代码1.1 需求分析1.2 数据模型1.3 代码开发 2. 菜品展示2.1 需求分析2.2 代码开发 3. 购物车3.1 需求分析3.2 数据模型3.3 代码开发 4. 下单4.1 需求分析4.2 数据模型4.3 代码开发 瑞吉外卖 — day7 移动端相关业务功能 —…...

编程日记 2024/7/21 3:06:58

前端Vue项目中腾讯地图SDK集成：经纬度与地址信息解析的实践

在前端开发中，我们经常需要将经纬度信息转化为具体的地址信息，这对于定位、地图展示等功能至关重要。Vue作为现代前端框架的代表，其组件化开发的特性使得我们能够更高效地实现这一功能。本文将介绍如何在Vue项目中集成腾讯地图SDK&#xff0c…...

编程日记 2024/7/21 3:03:55

鸿蒙开发StableDiffusion绘画应用

Stable Diffusion AI绘画 基于鸿蒙开发的Stable Diffusion应用。 Stable Diffusion Server后端代码 Stable Diffusion 鸿蒙应用代码 AI绘画 ​ 使用Axios发送post网络请求访问AI绘画服务器 api ，支持生成图片保存到手机相册。后端服务是基于flaskStable Diffusion …...

编程日记 2024/7/21 2:56:47

华为OD机考题(HJ61 放苹果)

前言 经过前期的数据结构和算法学习，开始以OD机考题作为练习题，继续加强下熟练程度。 描述 把m个同样的苹果放在n个同样的盘子里，允许有的盘子空着不放，问共有多少种不同的分法？ 注意：如果有7个苹果和3…...

编程日记 2024/7/21 2:44:35

浅谈Visual Studio 2022

Visual Studio 2022（VS2022）提供了众多强大的功能和改进，旨在提高开发者的效率和体验。以下是一些关键功能的概述：12 64位支持：VS2022的64位版本不再受内存限制困扰，主devenv.exe进程不再局限于4GB&#xf…...

编程日记 2024/7/21 2:43:34

spark 动态资源分配dynamicAllocation

动态资源分配，主要是spark在运行中可以相对合理的分配资源。 初始申请的资源远超实际需要，减少executor初始申请的资源比实际需要少很多，增多executorSpark运行多个job，这些job所需资源有的多有的少，动态调整executor…...

编程日记 2024/7/21 2:42:33

【C语言ffmpeg】打开第一个视频

文章目录 前言须知ffmpeg打开文件基本流程图ffmpeg打开媒体文件AVFormatContext *avformat_alloc_context(void);AVFormatContext 成员变量及其作用AVInputFormat *iformatAVOutputFormat *oformatvoid *priv_dataAVIOContext *pbunsigned int nb_streamsAVStream **streamscha…...

编程日记 2024/7/21 2:39:30

【Langchain大语言模型开发教程】模型、提示和解析

🔗 LangChain for LLM Application Development - DeepLearning.AI 学习目标 1、使用Langchain实例化一个LLM的接口 2、 使用Langchain的模板功能，将需要改动的部分抽象成变量，在具体的情况下替换成需要的内容，来达到模板复用效…...

编程日记 2024/7/21 2:36:27

Flutter 中的基本数据类型：num、int 和 double

在 Dart 编程语言中，数值类型的基础是 num，而 int 和 double 则是 num 的子类型。在开发 Flutter 应用时，理解这三者的区别和使用场景是非常重要的。本文将详细介绍 num、int 和 double 的定义及其使用区别。 num num 是 Dart 中的数值类型…...

编程日记 2024/7/21 2:34:25

基于Python+Django，开发的一个在线教育系统

一、项目简介 使用Python的web框架Django进行开发的一个在线教育系统！ 二、所需要的环境与组件 Python3.6 Django1.11.7 Pymysql Mysql pure_pagination DjangoUeditor captcha xadmin crispy_forms 三、安装 1. 下载项目后进入项目目录cd Online-educ…...

编程日记 2024/7/21 2:32:23

密码学原理精解【9】

这里写目录标题 迭代密码概述SPN具体算法过程SPN算法基本步骤举例说明注意 轮换-置换网络一、定义与概述二、核心组件三、加密过程四、应用实例五、总结 轮函数理论定义与作用特点与性质应用实例总结 迭代密码理论定义与原理特点与优势应用场景示例发展趋势 AES特点概述一、算法…...

编程日记 2024/7/21 2:30:21

【Nacos】Nacos服务注册与发现 心跳检测机制源码解析

在前两篇文章，介绍了springboot的自动配置原理，而nacos的服务注册就依赖自动配置原理。 Nacos Nacos核心功能点 服务注册 :Nacos Client会通过发送REST请求的方式向Nacos Server注册自己的服务，提供自身的元数据，比如ip地址、端…...

编程日记 2024/7/21 2:27:17

python 66 个冷知识 0720

66个有趣的Python冷知识 一行反转列表 使用切片一行反转列表：reversed_list my_list[::-1] 统计文件单词数量 使用 collections.Counter 统计文件中每个单词的数量：from collections import Counter; with open(file.txt) as f: word_count Counter(f…...

编程日记 2024/7/21 2:26:15

利用PyTorch进行模型量化

利用PyTorch进行模型量化 目录 利用PyTorch进行模型量化 一、模型量化概述 1.为什么需要模型量化？ 2.模型量化的挑战 二、使用PyTorch进行模型量化 1.PyTorch的量化优势 2.准备工作 3.选择要量化的模型 4.量化前的准备工作 三、PyTorch的量化工具包 1.介…...

编程日记 2024/7/21 2:18:07

Android 小白菜鸟从入门到精通教程

前言 Android一词最早出现于法国作家利尔亚当（Auguste Villiers de l’Isle-Adam）在1886年发表的科幻小说《未来的夏娃》（L’ve future）中。他将外表像人的机器起名为Android。从初学者的角度出发，通过通俗易懂的语言…...

编程日记 2024/7/21 2:13:03

php相关

php相关 ​ 借鉴了小迪安全以及各位大佬的博客，如果一切顺利，会不定期更新。 如果感觉不妥，可以私信删除。 默认有php基础。 文章目录 php相关1. php 缺陷函数1. 与2. MD53. intval()4. preg_match() 2. php特性1. php字符串解析特性2. 杂…...

编程日记 2024/7/21 2:09:59

uniapp上传功能用uni-file-picker实现

文章目录 html代码功能实现css样式代码 html代码 <uni-file-pickerselect"onFileSelected"cancel"onFilePickerCancel"limit"1"class"weightPage-upload-but"file-mediatype"image"></uni-file-picker><imag…...

编程日记 2024/7/21 2:08:58

基于算法竞赛的c++编程（28）结构体的进阶应用

结构体的嵌套与复杂数据组织 在C中&#xff0c;结构体可以嵌套使用&#xff0c;形成更复杂的数据结构。例如&#xff0c;可以通过嵌套结构体描述多层级数据关系&#xff1a; struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...

编程新知 2025/11/16 19:06:23

Appium+python自动化（十六）- ADB命令

简介 Android 调试桥(adb)是多种用途的工具&#xff0c;该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具&#xff0c;其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利&#xff0c;如安装和调试…...

编程新知 2026/1/21 18:20:51

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序

一、开发准备 ​​环境搭建​​&#xff1a; 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 ​​项目创建​​&#xff1a; File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...

编程新知 2025/9/5 12:16:40

对WWDC 2025 Keynote 内容的预测

借助我们以往对苹果公司发展路径的深入研究经验&#xff0c;以及大语言模型的分析能力&#xff0c;我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际&#xff0c;我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测&#xff0c;聊作存档。等到明…...

编程新知 2026/2/6 23:56:39

OkHttp 中实现断点续传 demo

在 OkHttp 中实现断点续传主要通过以下步骤完成&#xff0c;核心是利用 HTTP 协议的 Range 请求头指定下载范围&#xff1a; 实现原理 Range 请求头&#xff1a;向服务器请求文件的特定字节范围&#xff08;如 Range: bytes1024-&#xff09; 本地文件记录&#xff1a;保存已…...

编程新知 2025/12/12 0:56:22

镜像里切换为普通用户

如果你登录远程虚拟机默认就是 root 用户&#xff0c;但你不希望用 root 权限运行 ns-3&#xff08;这是对的&#xff0c;ns3 工具会拒绝 root&#xff09;&#xff0c;你可以按以下方法创建一个 非 root 用户账号 并切换到它运行 ns-3。 一次性解决方案&#xff1a;创建非 roo…...

编程新知 2025/9/11 11:00:29

自然语言处理——Transformer

自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效&#xff0c;它能挖掘数据中的时序信息以及语义信息&#xff0c;但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN&#xff0c;但是…...

编程新知 2026/2/1 7:05:07

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

编程新知 2026/1/21 19:46:26

Java 二维码

Java 二维码 **技术&#xff1a;**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/9/6 16:22:45

Angular微前端架构：Module Federation + ngx-build-plus (Webpack)

以下是一个完整的 Angular 微前端示例&#xff0c;其中使用的是 Module Federation 和 npx-build-plus 实现了主应用&#xff08;Shell&#xff09;与子应用&#xff08;Remote&#xff09;的集成。 &#x1f6e0;️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...

编程新知 2025/12/3 10:52:37