当前位置： 首页 > news >正文

PyTorch Autograd内部实现

news 文章来源：https://blog.csdn.net/smartcat2010/article/details/140455716 2025/2/12 23:40:07

原文：

克補 爆炸篇 25s (youtube.com)

必应视频 (bing.com)icon-default.png?t=N7T8https://www.bing.com/videos/riverview/relatedvideo?&q=PyTorch+autograd&qpvt=PyTorch+autograd&mid=1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORM=VRDGAR

前面只要有一个node的requires_grad为True，则后面所有node都要为True:

forward阶段，ctx里存放其backward操作需要的值，也就是forward时的部分input或output值；

requires_grad为False的(Tensor b)，不会计算其梯度；

requires_grad为True，且is_leaf为Tree的，会将梯度累积到其grad成员上；

优化：如果is_leaf=False，则说明不需要该Tensor的grad，所以，grad_fn直接将output梯度传递给下一个grad_fn了，绕开对该Tensor的grad的更新；（节省一步梯度加和操作的时间，也节省一个grad数据存储空间）

用_version号来防止backward时用到的activation在之前发生改动；如果_version号跟本次backward源头的_version号不同了，则报错；

我：Pipeline并行，如果直接做，就会有这种报错出现；

如果是Add操作这种，压根不需要某些activation的值，所以这种值发生改动，不影响backward传递参数，因此就不会报错

每个运算，是一个独立的operator，对应backward也是独立的：

Tensor.detach()，用在什么情况：想保留结果值，但又想把原始计算图垃圾回收释放掉；新Tensor和老Tensor共享数据内存(data)，但不在hold指向计算图的reference了(grad_fn=None)

 

相关文章：

PyTorch Autograd内部实现

原文： 克補 爆炸篇 25s (youtube.com) 必应视频 (bing.com)https://www.bing.com/videos/riverview/relatedvideo?&qPyTorchautograd&qpvtPyTorchautograd&mid1B8AD76943EFADD541E01B8AD76943EFADD541E0&&FORMVRDGAR 前面只要有一个node的re…...

编程日记 2024/7/21 3:13:05

微信小程序 vant-weapp的 SwipeCell 滑动单元格 van-swipe-cell 滑动单元格不显示 和 样式问题 滑动后删除样式不显示

在微信小程序开发过程中 遇到个坑 此处引用 swipeCell 组件 刚开始是组件不显示 然后又遇到样式不生效 首先排除问题 是否在.json文件中引入了组件 {"usingComponents": {"van-swipe-cell": "vant/weapp/swipe-cell/index","van-cell-gro…...

编程日记 2024/7/21 3:11:03

3.4、matlab实现SGM/BM/SAD立体匹配算法计算视差图

1、matlab实现SGM/BM/SAD立体匹配算法计算视差图简介 SGM（Semi-Global Matching）、BM（Block Matching）和SAD（Sum of Absolute Differences）都是用于计算立体匹配（Stereo Matching）的…...

编程日记 2024/7/21 3:07:59

【瑞吉外卖 | day07】移动端菜品展示、购物车、下单

文章目录 瑞吉外卖 — day71. 导入用户地址簿相关功能代码1.1 需求分析1.2 数据模型1.3 代码开发 2. 菜品展示2.1 需求分析2.2 代码开发 3. 购物车3.1 需求分析3.2 数据模型3.3 代码开发 4. 下单4.1 需求分析4.2 数据模型4.3 代码开发 瑞吉外卖 — day7 移动端相关业务功能 —…...

编程日记 2024/7/21 3:06:58

前端Vue项目中腾讯地图SDK集成：经纬度与地址信息解析的实践

在前端开发中，我们经常需要将经纬度信息转化为具体的地址信息，这对于定位、地图展示等功能至关重要。Vue作为现代前端框架的代表，其组件化开发的特性使得我们能够更高效地实现这一功能。本文将介绍如何在Vue项目中集成腾讯地图SDK&#xff0c…...

编程日记 2024/7/21 3:03:55

鸿蒙开发StableDiffusion绘画应用

Stable Diffusion AI绘画 基于鸿蒙开发的Stable Diffusion应用。 Stable Diffusion Server后端代码 Stable Diffusion 鸿蒙应用代码 AI绘画 ​ 使用Axios发送post网络请求访问AI绘画服务器 api ，支持生成图片保存到手机相册。后端服务是基于flaskStable Diffusion …...

编程日记 2024/7/21 2:56:47

华为OD机考题(HJ61 放苹果)

前言 经过前期的数据结构和算法学习，开始以OD机考题作为练习题，继续加强下熟练程度。 描述 把m个同样的苹果放在n个同样的盘子里，允许有的盘子空着不放，问共有多少种不同的分法？ 注意：如果有7个苹果和3…...

编程日记 2024/7/21 2:44:35

浅谈Visual Studio 2022

Visual Studio 2022（VS2022）提供了众多强大的功能和改进，旨在提高开发者的效率和体验。以下是一些关键功能的概述：12 64位支持：VS2022的64位版本不再受内存限制困扰，主devenv.exe进程不再局限于4GB&#xf…...

编程日记 2024/7/21 2:43:34

spark 动态资源分配dynamicAllocation

动态资源分配，主要是spark在运行中可以相对合理的分配资源。 初始申请的资源远超实际需要，减少executor初始申请的资源比实际需要少很多，增多executorSpark运行多个job，这些job所需资源有的多有的少，动态调整executor…...

编程日记 2024/7/21 2:42:33

【C语言ffmpeg】打开第一个视频

文章目录 前言须知ffmpeg打开文件基本流程图ffmpeg打开媒体文件AVFormatContext *avformat_alloc_context(void);AVFormatContext 成员变量及其作用AVInputFormat *iformatAVOutputFormat *oformatvoid *priv_dataAVIOContext *pbunsigned int nb_streamsAVStream **streamscha…...

编程日记 2024/7/21 2:39:30

【Langchain大语言模型开发教程】模型、提示和解析

🔗 LangChain for LLM Application Development - DeepLearning.AI 学习目标 1、使用Langchain实例化一个LLM的接口 2、 使用Langchain的模板功能，将需要改动的部分抽象成变量，在具体的情况下替换成需要的内容，来达到模板复用效…...

编程日记 2024/7/21 2:36:27

Flutter 中的基本数据类型：num、int 和 double

在 Dart 编程语言中，数值类型的基础是 num，而 int 和 double 则是 num 的子类型。在开发 Flutter 应用时，理解这三者的区别和使用场景是非常重要的。本文将详细介绍 num、int 和 double 的定义及其使用区别。 num num 是 Dart 中的数值类型…...

编程日记 2024/7/21 2:34:25

基于Python+Django，开发的一个在线教育系统

一、项目简介 使用Python的web框架Django进行开发的一个在线教育系统！ 二、所需要的环境与组件 Python3.6 Django1.11.7 Pymysql Mysql pure_pagination DjangoUeditor captcha xadmin crispy_forms 三、安装 1. 下载项目后进入项目目录cd Online-educ…...

编程日记 2024/7/21 2:32:23

密码学原理精解【9】

这里写目录标题 迭代密码概述SPN具体算法过程SPN算法基本步骤举例说明注意 轮换-置换网络一、定义与概述二、核心组件三、加密过程四、应用实例五、总结 轮函数理论定义与作用特点与性质应用实例总结 迭代密码理论定义与原理特点与优势应用场景示例发展趋势 AES特点概述一、算法…...

编程日记 2024/7/21 2:30:21

【Nacos】Nacos服务注册与发现 心跳检测机制源码解析

在前两篇文章，介绍了springboot的自动配置原理，而nacos的服务注册就依赖自动配置原理。 Nacos Nacos核心功能点 服务注册 :Nacos Client会通过发送REST请求的方式向Nacos Server注册自己的服务，提供自身的元数据，比如ip地址、端…...

编程日记 2024/7/21 2:27:17

python 66 个冷知识 0720

66个有趣的Python冷知识 一行反转列表 使用切片一行反转列表：reversed_list my_list[::-1] 统计文件单词数量 使用 collections.Counter 统计文件中每个单词的数量：from collections import Counter; with open(file.txt) as f: word_count Counter(f…...

编程日记 2024/7/21 2:26:15

利用PyTorch进行模型量化

利用PyTorch进行模型量化 目录 利用PyTorch进行模型量化 一、模型量化概述 1.为什么需要模型量化？ 2.模型量化的挑战 二、使用PyTorch进行模型量化 1.PyTorch的量化优势 2.准备工作 3.选择要量化的模型 4.量化前的准备工作 三、PyTorch的量化工具包 1.介…...

编程日记 2024/7/21 2:18:07

Android 小白菜鸟从入门到精通教程

前言 Android一词最早出现于法国作家利尔亚当（Auguste Villiers de l’Isle-Adam）在1886年发表的科幻小说《未来的夏娃》（L’ve future）中。他将外表像人的机器起名为Android。从初学者的角度出发，通过通俗易懂的语言…...

编程日记 2024/7/21 2:13:03

php相关

php相关 ​ 借鉴了小迪安全以及各位大佬的博客，如果一切顺利，会不定期更新。 如果感觉不妥，可以私信删除。 默认有php基础。 文章目录 php相关1. php 缺陷函数1. 与2. MD53. intval()4. preg_match() 2. php特性1. php字符串解析特性2. 杂…...

编程日记 2024/7/21 2:09:59

uniapp上传功能用uni-file-picker实现

文章目录 html代码功能实现css样式代码 html代码 <uni-file-pickerselect"onFileSelected"cancel"onFilePickerCancel"limit"1"class"weightPage-upload-but"file-mediatype"image"></uni-file-picker><imag…...

编程日记 2024/7/21 2:08:58

【PPT笔记】1-3节 | 默认设置/快捷键/合并形状

文章目录 说明笔记1 默认设置1.1 OFFICE版本选择1.1.1 Office某某数字专属系列1.1.2 Office3651.1.3 产品信息怎么看 1.2 默认设置1.2.1 暗夜模式1.2.2 无限撤回1.2.3 自动保存&#xff08;Office2013版本及以上&#xff09;1.2.4 图片压缩1.2.5 字体嵌入1.2.6 多格式导出1.2.7…...

编程日记 2024/7/21 2:07:58

Qt中的高分辨率及缩放处理

写在前面 使用Qt开发界面客户端&#xff0c;需要考虑不同分辨率及缩放对UI界面的影响&#xff0c;否则会影响整体的交互使用。 问题 高分辨率/缩放设备上图片/图标模糊 若不考虑高分辨及缩放处理&#xff0c;在高分辨率/缩放设备上&#xff0c;软件中的图片、图标可能会出现…...

编程日记 2024/7/21 1:59:50

电机泵盖机器人打磨去毛刺，选德国进口高精度主轴

机器人打磨去毛刺该如何选择主轴呢&#xff1f;首先我们需要考虑的是工件的材质&#xff0c;电机泵盖通常使用铸铁、不锈钢、合金钢等金属材质&#xff0c;因此这类保持的硬度较高&#xff0c;一般会选择功率、扭矩较大的德国进口高精度主轴Kasite 4060 ER-S。 Kasite 4060 ER-…...

编程日记 2024/7/21 1:58:50

Android init.rc各阶段的定义和功能

Android开机优化系列文档-CSDN博客 Android 14 开机时间优化措施汇总-CSDN博客Android 14 开机时间优化措施-CSDN博客根据systrace报告优化系统时需要关注的指标和优化策略-CSDN博客Android系统上常见的性能优化工具-CSDN博客Android上如何使用perfetto分析systrace-CSDN博客A…...

编程日记 2024/7/21 1:54:46

.net dataexcel 脚本公式 函数源码

示例如: ScriptExec(""sum(1, 2, 3, 4)"") 结果等于10 using Feng.Excel.Builder; using Feng.Excel.Collections; using Feng.Excel.Interfaces; using Feng.Script.CBEexpress; using Feng.Script.Method; using System; using System.Collections.Gen…...

编程日记 2024/7/21 1:52:43

HarmonyOS ArkUi @CustomDialog 和promptAction.openCustomDialog踩坑以及如何选择

CustomDialog 内使用Link&#xff0c;如何正常使用 错误使用方式&#xff1a; 定义一个函数&#xff0c;在函数内使用弹窗&#xff0c;如下面代码showDialog&#xff1a; 这种使用方式&#xff0c;无法在自定义的CustomDialog内使用 Link&#xff0c;进行父子双向绑定&#x…...

编程日记 2024/7/21 1:45:37

Python面试题：详细讲解Python的多线程与多进程编程问题

在 Python 中&#xff0c;多线程和多进程编程是并发编程的两种主要方式&#xff0c;用于提高程序的执行效率和响应性。虽然它们都可以实现并发执行&#xff0c;但它们的工作原理和适用场景有所不同。以下是对 Python 多线程和多进程编程的详细讲解&#xff0c;包括它们的工作原…...

编程日记 2024/7/21 1:44:35

前端Canvas入门——用canvas写五子棋？

前言 五子棋的实现其实不难&#xff0c;因为本身就是一个很小的游戏。 至于画线什么的&#xff0c;其实很简单&#xff0c;都是lineTo()&#xff0c;moveTo()就行了。 难的在于——怎么让棋子落入到指定的格子上&#xff0c;怎么判断连子胜利。 当然啦&#xff0c;这部分是…...

编程日记 2024/7/21 1:41:31

[PaddlePaddle飞桨] PaddleDetection-通用目标检测-小模型部署

PaddleDetection的GitHub项目地址 推荐环境&#xff1a; PaddlePaddle > 2.3.2 OS 64位操作系统 Python 3(3.5.1/3.6/3.7/3.8/3.9/3.10)&#xff0c;64位版本 pip/pip3(9.0.1)&#xff0c;64位版本 CUDA > 10.2 cuDNN > 7.6pip下载指令&#xff1a; python -m pip i…...

编程日记 2024/7/21 1:40:30

Golang | Leetcode Golang题解之第239题滑动窗口最大值

题目&#xff1a; 题解&#xff1a; func maxSlidingWindow(nums []int, k int) []int {n : len(nums)prefixMax : make([]int, n)suffixMax : make([]int, n)for i, v : range nums {if i%k 0 {prefixMax[i] v} else {prefixMax[i] max(prefixMax[i-1], v)}}for i : n - 1…...

编程日记 2024/7/21 1:39:28

房山手机网站建设/seo外包公司报价

坑。 我想找的是一个网站&#xff0c;输入两种颜色之后&#xff0c;能够生成合并的颜色。...

编程日记 2025/2/12 22:20:39

在网上做试卷的网站/服务营销的七个要素

最初接触 speed grade 这个概念时&#xff0c;很是为 Altera 的 -6 、 -7 、 -8 速度等级逆向 排序的方法困惑过一段时间。 不很严密地说&#xff0c; “序号越低&#xff0c; 速度等级越高”这是 Altera FPGA 的排序方法 &#xff0c;“序号越高&#xff0c;速度等级也越高”…...

编程日记 2025/2/12 19:14:43

一个网站做app/爱站权重查询

Linux之ARM&#xff08;IMX6U&#xff09;BSP工程管理实验1、工程管理简介1.1、创建bsp、imx6ul、obj和project这四个文件夹1.2、文件分类2、实验程序编写2.1、创建 imx6ul.h 文件2.2、创建个.vscode文件修改includePath2.2.1、修改includePath2.3、编写led驱动文件2.2.1、 bsp…...

编程日记 2025/2/12 16:23:31

南京代理注册公司机构/东莞网站seo技术

整理了一下5年前左右的一些资料 大学期间和研究生期间参加了很多数学建模比赛&#xff0c;放在网盘好久啦&#xff0c;现在把资源共享到Github上面&#xff0c;供大家参考。 github链接&#xff1a;https://github.com/XiaoGongWei/MMP MathematicalModelingPapers 数学建模…...

编程日记 2025/2/12 14:56:03

dede网站后台导入文档/如何刷seo关键词排名

传送门:bzoj2989 题解 二进制分组-CA 欧几里得距离转成曼哈顿距离(x,y),(xy,x−y)(x,y),(xy,x-y)(x,y),(xy,x−y)之后问题就变成了每次给一个点1&#xff0c;询问某个矩形范围内的总值。 通常方法是cdqcdqcdq&#xff0c;二进制分组可以解决强制在线的限制。 具体来说&…...

编程日记 2025/2/12 14:41:56

视频做网站背景/厦门百度关键词推广

JOL全称为Java Object Layout&#xff0c;是用来分析JVM中对象布局的工具&#xff0c;它可以帮我们在运行时计算某个对象的大小。 引入JOL依赖&#xff0c;如下&#xff1a; <!-- https://mvnrepository.com/artifact/org.openjdk.jol/jol-core --> <dependency>…...

编程日记 2025/2/12 10:54:27