当前位置： 首页 > news >正文

deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住

news 文章来源：https://blog.csdn.net/qq_16555103/article/details/136752087 2025/2/1 12:04:29

错误展示：

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

 

错误表现：

出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）

 PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间

# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录，需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions

重新运行训练脚本，程序work 

相关文章：

deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住

错误展示： Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
 Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
 错误表现： 出现在多卡训练过程的pytorch 扩展，deepspee…...

编程日记 2024/3/19 14:14:59

Rust 的 HashMap

在 Rust 中，HashMap 是一个从键（key）映射到值（value）的数据结构。它允许你以 O(1) 的平均时间复杂度存储、检索和删除键值对。HashMap 实现了 std::collections::HashMap 结构体，通常通过 use std::collect…...

编程日记 2024/3/19 14:13:57

exporter方式监控达梦数据库

蓝鲸监控 随着国产化和信创的深入，开始普遍使用国产化数据库–如达梦数据库，蓝鲸平台默认没有对其进行监控，但是平台了提供监控告警的能力。比如脚本采集，脚本的是一种灵活和快速的监控采集方式，不同层的监控对象都可…...

编程日记 2024/3/19 14:12:56

供应链安全之被忽略的软件质量管理平台安全

背景 随着我国信息化进程加速，网络安全问题更加凸显。关键信息基础设施和企业单位在满足等保合规的基础上，如何提升网络安全防御能力，降低安全事件发生概率？默安玄甲实验室针对SonarQube供应链安全事件进行分析，强调供…...

编程日记 2024/3/19 14:10:54

python入门（二）

python的安装很方便，我们这里就不再进行讲解，大家可以自己去搜索视频。下面分享一下Python的入门知识点。 执行命令的方式 在安装好python后，有两种方式可以执行命令： 命令行程序文件，后缀名为.py 对于命令行&…...

编程日记 2024/3/19 14:08:52

Mysql，MongoDB,Redis的横纵向对比

一，什么是Mysql Mysql是一款安全，可以跨平台，高效率的数据库系统，运行速度高，安全性能高，支持面向对象，安全性高，并且成本比较低，支持各种开发语言，数据库的存储容量大，有许多的内置函数。 二，什么是MongoDB MongoDB是基于分布式文件存储的数据库，是一个介于关…...

编程日记 2024/3/19 14:06:49

css3 实现html样式蛇形布局

文章目录 1. 实现效果2. 实现代码 1. 实现效果 2. 实现代码 <template><div class"body"><div class"title">CSS3实现蛇形布局</div><div class"list"><div class"item" v-for"(item, index) …...

编程日记 2024/3/19 14:03:46

基于消失点的相机自标定

基于消失点的相机自标定 附赠最强自动驾驶学习资料&#xff1a;直达链接 相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中&#xff0c;平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标…...

编程日记 2024/3/19 14:00:43

Python：filter过滤器

filter() 是 Python 中的一个内置函数&#xff0c;用于过滤序列&#xff0c;过滤掉不符合条件的元素&#xff0c;返回由符合条件元素组成的新列表。该函数接收两个参数&#xff0c;一个是函数&#xff0c;一个是序列&#xff0c;序列的每个元素作为参数传递给函数进行判定&…...

编程日记 2024/3/19 13:59:42

Python函数学习

Python函数学习 1.函数定义 在函数定义阶段只检查函数的语法问题 2.实参形参 ​​​​总结&#xff1a; &#xff08;1&#xff09;位置参数就是经常用的按照位置顺序给出实参的值&#xff1b; &#xff08;2&#xff09;关键字实参形式&#xff1a;key123&#xff1b;放在…...

编程日记 2024/3/19 13:58:41

IDEA中的Project工程、Module模块的概念及创建导入

1、IDEA中的层级关系&#xff1a; project(工程) - module(模块) - package(包) - class(类)/接口具体的&#xff1a; 一个project中可以创建多个module一个module中可以创建多个package一个package中可以创建多个class/接口2、Project和Module的概念&#xff1a; 在 IntelliJ …...

编程日记 2024/3/19 13:56:38

如何快速下载并剪辑B站视频

1、B站手机端右上角缓存视频&#xff1b; 2、在手机文件管理助手中找到android/data/80找到两个文件&#xff0c;video.m4s和audio.m4s&#xff0c;将它们发送到电脑&#xff0c;系统会默认保存在你的个人文件夹里&#xff0c;C:\users\用户名 3、下载ffmepg https://blog.cs…...

编程日记 2024/3/19 13:51:32

智慧矿山新趋势：大数据解决方案一览

1. 背景 随着信息技术的快速发展和矿山管理需求的日益迫切&#xff0c;智慧矿山作为一种创新的矿山管理方式应运而生。智慧矿山借助先进的信息技术&#xff0c;实现对矿山生产、管理、安全等各方面的智能化、高效化、协同化&#xff0c;是矿山行业转型升级的必然趋势。 欢迎关…...

编程日记 2024/3/19 13:48:29

Ubuntu使用Docker部署Nginx容器并结合内网穿透实现公网访问本地服务

目录 ⛳️推荐 1. 安装Docker 2. 使用Docker拉取Nginx镜像 3. 创建并启动Nginx容器 4. 本地连接测试 5. 公网远程访问本地Nginx 5.1 内网穿透工具安装 5.2 创建远程连接公网地址 5.3 使用固定公网地址远程访问 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站&#…...

编程日记 2024/3/19 13:46:27

面试笔记——Redis（使用场景、面临问题、缓存穿透）

Redis的使用场景 Redis&#xff08;Remote Dictionary Server&#xff09;是一个内存数据结构存储系统&#xff0c;它以快速、高效的特性闻名&#xff0c;并且它支持多种数据结构&#xff0c;包括字符串、哈希表、列表、集合、有序集合等。它主要用于以下场景&#xff1a; 缓…...

编程日记 2024/3/19 13:45:26

电机学（笔记一）

磁极对数p&#xff1a; 直流电机的磁极对数是指电机定子的磁极对数&#xff0c;也等于电机电刷的对数。它与电机的转速和扭矩有直接关系。一般来说&#xff0c;极对数越多&#xff0c;电机转速越低&#xff0c;扭矩越大&#xff0c;适用于低速、高扭矩的场合&#xff1b;相反&…...

编程日记 2024/3/19 13:44:25

数值分析复习：Newton插值

文章目录 牛顿&#xff08;Newton&#xff09;插值引入背景插值条件基函数插值多项式差商差商的基本性质差商估计差商的Leibniz公式 余项估计 本篇文章适合个人复习翻阅&#xff0c;不建议新手入门使用 牛顿&#xff08;Newton&#xff09;插值 引入背景 Lagrange插值每引入一…...

编程日记 2024/3/19 13:37:17

金融知识分享系列之：出场信号RSI指标

金融知识分享系列之&#xff1a;出场信号RSI指标 一、出场信号RSI指标二、RSI指标原理三、 指标用法四、RSI指标总结 一、出场信号RSI指标 名称&#xff1a;相对强弱指标参数&#xff1a;(默认14)组成&#xff1a;RSI线以及30轴、50轴、70轴构成 0-30是极弱&#xff1a;0-30的…...

编程日记 2024/3/19 13:35:15

基于Spring Boot的宿舍管理系统

摘 要 随着信息时代的来临&#xff0c;过去的传统管理方式缺点逐渐暴露&#xff0c;对过去的传统管理方式的缺点进行分析&#xff0c;采取计算机方式构建宿舍管理系统。本文通过课题背景、课题目的及意义相关技术&#xff0c;提出了一种楼宇信息、宿舍信息、宿舍安排、缺勤信息…...

编程日记 2024/3/19 13:34:14

全量知识系统“全基因序列”程序构想及SmartChat的回复

感觉上&#xff0c;全量知识系统的程序起点基本确定。下一步就是程序了。程序的整个设计过程都准备同时使用两个AI工具。以下是和“百度AI”同步进行的Q&A。 Q1. 基本假设&#xff1a;“全基因序列”中“基因”的本质是联结collection。 做法是&#xff1a; 对给出的一个…...

编程日记 2024/3/19 13:33:13

315晚会曝光主板机产业链，如何应对工作室技术更迭

近日&#xff0c;央视315晚会开播&#xff0c;曝光了一批最新案例&#xff0c;聚焦消防、食品、金融、数据等多个领域。其中 “网络黑灰产”硬件设备「手机主板机」及其产业链暴露在大众视野。 手机主板机实物丨图源&#xff1a;央视财经 据报道&#xff0c;主板机的构造是将数…...

编程日记 2024/3/19 13:31:11

Copilot with GPT-4与文心一言4.0：AI技术的未来

Copilot with GPT-4的深度分析 Copilot with GPT-4是基于OpenAI的GPT-4模型&#xff0c;它是一个多功能的AI助手&#xff0c;能够在多种语言中进行交流和创作。GPT-4模型的强大之处在于其庞大的数据训练基础&#xff0c;这使得它在理解语境、生成文本以及执行复杂任务方面表现…...

编程日记 2024/3/19 13:27:07

注册-前端部分

前提&#xff1a;后端jar环境、Vue3环境、Redis环境 搭建页面&#xff08;html标签、css样式&#xff09; → 绑定数据与事件&#xff08;表单校验&#xff09; → 调用后台接口&#xff08;接口文档、src/api/xx.js封装、页面函数中调用&#xff09; Login.vue文件&#xff…...

编程日记 2024/3/19 13:26:06

SpringBoot ApplicationListener实现发布订阅模式

文章目录 前言一、Spring对JDK的扩展二、快速实现发布订阅模式 前言 发布订阅模式(Publish-Subscribe Pattern)通常又称观察者模式&#xff0c;它被广泛应用于事件驱动架构中。即一个事件的发布&#xff0c;该行为会通过同步或者异步的方式告知给订阅该事件的订阅者。JDK中提供…...

编程日记 2024/3/19 13:23:03

嵌入式学习40-数据结构

数据结构 1.定义 一组用来保存一种或者多种特定关系的 数据的集合&#xff08;组织和存储数据&#xff09; 程序的设计&#xff1a; …...

编程日记 2024/3/19 13:20:01

k8s集群部署elk

一、前言 本次部署elk所有的服务都部署在k8s集群中&#xff0c;服务包含filebeat、logstash、elasticsearch、kibana&#xff0c;其中elasticsearch使用集群的方式部署&#xff0c;所有服务都是用7.17.10版本 二、部署 部署elasticsearch集群 部署elasticsearch集群需要先优化…...

编程日记 2024/3/19 13:19:00

【Python】清理conda缓存的常用命令

最近发现磁盘空间不足&#xff0c;很大一部分都被anaconda占据了&#xff0c;下面是一些清除conda缓存的命令 清理所有环境的Anaconda包缓存 删除所有未使用的包以及缓存的索引和临时文件 conda clean --all清理某一特定环境的Anaconda包缓存 conda clean --all -n 环境名清…...

编程日记 2024/3/19 13:11:52

代码随想录算法训练营第46天 | 完全背包，139.单词拆分

动态规划章节理论基础&#xff1a; https://programmercarl.com/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%92%E7%90%86%E8%AE%BA%E5%9F%BA%E7%A1%80.html 完全背包理论基础&#xff1a; https://programmercarl.com/%E8%83%8C%E5%8C%85%E9%97%AE%E9%A2%98%E7%90%86%E8%AE%BA%E5%9…...

编程日记 2024/3/19 13:09:50

rust - 将windows剪贴板的截图保存为png

本文提供了将windows系统的截图另存为png格式图片的方法。 添加依赖 cargo add clipboard-win cargo add image cargo add windows配置修改windows依赖特性 [dependencies] image "0.25.0"[target.cfg(windows).dependencies] windows "0.51.1" clipb…...

编程日记 2024/3/19 13:07:48

pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object

完整报错 Traceback (most recent call last):File "/Users//1.py", line 851, in <module>ds1 = my_datastream.key_by(lambda x: x[0]).process(MyProcessFunction()) # 返回元组即: f0 f1 f2 三列File "/Users/thomas990p/bigdataSoft/minicondaarm/…...

编程日记 2024/3/19 13:05:45

wordpress怎么改图片/app001推广平台官网

LTE作为新一代移动通信技术&#xff0c;能够提供更高的用户速率和更低的时延&#xff0c;提供更丰富的业务。但LTE网络的建设必然存在一个较长的过程&#xff0c;在这个过程中&#xff0c;会存在LTE覆盖小于2G/3G网络的场景&#xff0c;当用户从有LTE覆盖的区域&#xff0c;移动…...

编程日记 2025/2/1 3:06:17

网站一级页面二级页面怎么做/百度新闻首页头条

看了别人写的帖子&#xff0c;做了一个玩微信跳一跳的程序&#xff0c;然后辅助自己玩游戏&#xff0c;然后自己手也挺痒痒的&#xff0c;也想做出一个来。看论坛里面别人用继电器做的&#xff0c;然后由于没有继电器&#xff0c;所以要找一个动作的东西代替&#xff0c;最后由…...

编程日记 2025/2/1 2:01:19

做违法网站会怎么样/互联网营销师是干什么的

目录1、NIST的云计算定义1.1、云计算概念1.1.1、云计算资源1.1.2、云计算服务模型1.1.3、发布模型2、OpenStack概述2.1、OpenStack服务2.2、OpenStack优势3、OpenStack一键在线安装3.1、环境搭建3.1.2、配置网卡&#xff0c;挂载光盘3.1.3、配置yum源3.1.4、关闭防火墙和核心防…...

编程日记 2025/1/31 22:53:16

three.js做的酷炫网站/镇江网站建站

2月20日&#xff0c;记者从金山毒霸云安全中心获悉&#xff0c;“猫癣”(又名“犇牛”)的幕后集团已将黑手伸向IE7最新高危漏洞(ms09-002)&#xff0c;迅速替换了原先的 IE7 XML 漏洞&#xff0c;正以前所未有的力度大面积推广“猫癣”下载器&#xff0c;抢在用户打漏洞补丁前实…...

编程日记 2025/1/31 21:14:08

西部数码网站建设助手/网络策划方案

本文主要介绍在单机单数据库多实例的环境下&#xff0c;实现MySQL主从复制功能基本流程&#xff1a;1.MySQL主从复制介绍2.主从复制数据库实战环境准备3.在主库Master上执行操作配置4.在MySQL从库上执行的操作过程5.启动从库同步开关&#xff0c;测试主动复制配置情况6.MySQL主…...

编程日记 2025/1/31 19:57:54

网站建设备案 优帮云/seo规则

Geometry Readers 背景阅读 SwiftUI内功之如何看待不完善的布局系统我们可以使用GeometryReader进入布局过程。最重要的是&#xff0c;我们可以使用它来接收视图的建议布局大小。 GeometryReader配置有ViewBuilder&#xff08;就像其他任何容器视图一样&#xff09;&#xff…...

编程日记 2025/1/31 18:32:21