deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示：
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...
错误表现：
出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）
PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间
# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录，需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions重新运行训练脚本，程序work
相关文章：
卡住)
deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示： Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... 错误表现： 出现在多卡训练过程的pytorch 扩展，deepspee…...
Rust 的 HashMap
在 Rust 中，HashMap 是一个从键（key）映射到值（value）的数据结构。它允许你以 O(1) 的平均时间复杂度存储、检索和删除键值对。HashMap 实现了 std::collections::HashMap 结构体，通常通过 use std::collect…...
exporter方式监控达梦数据库
蓝鲸监控 随着国产化和信创的深入，开始普遍使用国产化数据库–如达梦数据库，蓝鲸平台默认没有对其进行监控，但是平台了提供监控告警的能力。比如脚本采集，脚本的是一种灵活和快速的监控采集方式，不同层的监控对象都可…...
供应链安全之被忽略的软件质量管理平台安全
背景 随着我国信息化进程加速，网络安全问题更加凸显。关键信息基础设施和企业单位在满足等保合规的基础上，如何提升网络安全防御能力，降低安全事件发生概率？默安玄甲实验室针对SonarQube供应链安全事件进行分析，强调供…...
python入门（二）
python的安装很方便，我们这里就不再进行讲解，大家可以自己去搜索视频。下面分享一下Python的入门知识点。 执行命令的方式 在安装好python后，有两种方式可以执行命令： 命令行程序文件，后缀名为.py 对于命令行&…...
Mysql，MongoDB,Redis的横纵向对比
一，什么是Mysql Mysql是一款安全，可以跨平台，高效率的数据库系统，运行速度高，安全性能高，支持面向对象，安全性高，并且成本比较低，支持各种开发语言，数据库的存储容量大，有许多的内置函数。 二，什么是MongoDB MongoDB是基于分布式文件存储的数据库，是一个介于关…...
css3 实现html样式蛇形布局
文章目录 1. 实现效果2. 实现代码 1. 实现效果 2. 实现代码 <template><div class"body"><div class"title">CSS3实现蛇形布局</div><div class"list"><div class"item" v-for"(item, index) …...
基于消失点的相机自标定
基于消失点的相机自标定 附赠最强自动驾驶学习资料：直达链接 相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标…...
Python：filter过滤器
filter() 是 Python 中的一个内置函数，用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。该函数接收两个参数，一个是函数，一个是序列，序列的每个元素作为参数传递给函数进行判定&…...
Python函数学习
Python函数学习 1.函数定义 在函数定义阶段只检查函数的语法问题 2.实参形参 总结： （1）位置参数就是经常用的按照位置顺序给出实参的值； （2）关键字实参形式：key123；放在…...
IDEA中的Project工程、Module模块的概念及创建导入
1、IDEA中的层级关系： project(工程) - module(模块) - package(包) - class(类)/接口具体的： 一个project中可以创建多个module一个module中可以创建多个package一个package中可以创建多个class/接口2、Project和Module的概念： 在 IntelliJ …...
如何快速下载并剪辑B站视频
1、B站手机端右上角缓存视频； 2、在手机文件管理助手中找到android/data/80找到两个文件，video.m4s和audio.m4s，将它们发送到电脑，系统会默认保存在你的个人文件夹里，C:\users\用户名 3、下载ffmepg https://blog.cs…...
智慧矿山新趋势：大数据解决方案一览
1. 背景 随着信息技术的快速发展和矿山管理需求的日益迫切，智慧矿山作为一种创新的矿山管理方式应运而生。智慧矿山借助先进的信息技术，实现对矿山生产、管理、安全等各方面的智能化、高效化、协同化，是矿山行业转型升级的必然趋势。 欢迎关…...
Ubuntu使用Docker部署Nginx容器并结合内网穿透实现公网访问本地服务
目录 ⛳️推荐 1. 安装Docker 2. 使用Docker拉取Nginx镜像 3. 创建并启动Nginx容器 4. 本地连接测试 5. 公网远程访问本地Nginx 5.1 内网穿透工具安装 5.2 创建远程连接公网地址 5.3 使用固定公网地址远程访问 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站&#…...
面试笔记——Redis（使用场景、面临问题、缓存穿透）
Redis的使用场景 Redis（Remote Dictionary Server）是一个内存数据结构存储系统，它以快速、高效的特性闻名，并且它支持多种数据结构，包括字符串、哈希表、列表、集合、有序集合等。它主要用于以下场景： 缓…...
电机学（笔记一）
磁极对数p： 直流电机的磁极对数是指电机定子的磁极对数，也等于电机电刷的对数。它与电机的转速和扭矩有直接关系。一般来说，极对数越多，电机转速越低，扭矩越大，适用于低速、高扭矩的场合；相反&…...
数值分析复习：Newton插值
文章目录 牛顿（Newton）插值引入背景插值条件基函数插值多项式差商差商的基本性质差商估计差商的Leibniz公式 余项估计 本篇文章适合个人复习翻阅，不建议新手入门使用 牛顿（Newton）插值 引入背景 Lagrange插值每引入一…...
金融知识分享系列之：出场信号RSI指标
金融知识分享系列之：出场信号RSI指标 一、出场信号RSI指标二、RSI指标原理三、 指标用法四、RSI指标总结 一、出场信号RSI指标 名称：相对强弱指标参数：(默认14)组成：RSI线以及30轴、50轴、70轴构成 0-30是极弱：0-30的…...
基于Spring Boot的宿舍管理系统
摘 要 随着信息时代的来临，过去的传统管理方式缺点逐渐暴露，对过去的传统管理方式的缺点进行分析，采取计算机方式构建宿舍管理系统。本文通过课题背景、课题目的及意义相关技术，提出了一种楼宇信息、宿舍信息、宿舍安排、缺勤信息…...
全量知识系统“全基因序列”程序构想及SmartChat的回复
感觉上，全量知识系统的程序起点基本确定。下一步就是程序了。程序的整个设计过程都准备同时使用两个AI工具。以下是和“百度AI”同步进行的Q&A。 Q1. 基本假设：“全基因序列”中“基因”的本质是联结collection。 做法是： 对给出的一个…...
地震勘探——干扰波识别、井中地震时距曲线特点
目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波：可以用来解决所提出的地质任务的波；干扰波：所有妨碍辨认、追踪有效波的其他波。 地震勘探中，有效波和干扰波是相对的。例如，在反射波…...
)
Java 语言特性(面试系列1)
一、面向对象编程 1. 封装（Encapsulation） 定义：将数据（属性）和操作数据的方法绑定在一起，通过访问控制符（private、protected、public）隐藏内部实现细节。示例： public …...
8k长序列建模，蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂
蛋白质结合剂（如抗体、抑制肽）在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上，高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术，但这类方法普遍面临资源消耗巨大、研发周期冗长…...
【网络安全产品大调研系列】2. 体验漏洞扫描
前言 2023 年漏洞扫描服务市场规模预计为 3.06（十亿美元）。漏洞扫描服务市场行业预计将从 2024 年的 3.48（十亿美元）增长到 2032 年的 9.54（十亿美元）。预测期内漏洞扫描服务市场 CAGR（增长率&…...
智能在线客服平台：数字化时代企业连接用户的 AI 中枢
随着互联网技术的飞速发展，消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁，不仅优化了客户体验，还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用，并…...
python如何将word的doc另存为docx
将 DOCX 文件另存为 DOCX 格式（Python 实现） 在 Python 中，你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是，.doc 是旧的 Word 格式，而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...
SpringCloudGateway 自定义局部过滤器
场景： 将所有请求转化为同一路径请求（方便穿网配置）在请求头内标识原来路径，然后在将请求分发给不同服务 AllToOneGatewayFilterFactory import lombok.Getter; import lombok.Setter; import lombok.extern.slf4j.Slf4j; impor…...
浅谈不同二分算法的查找情况
二分算法原理比较简单，但是实际的算法模板却有很多，这一切都源于二分查找问题中的复杂情况和二分算法的边界处理，以下是博主对一些二分算法查找的情况分析。 需要说明的是，以下二分算法都是基于有序序列为升序有序的情况…...
Swagger和OpenApi的前世今生
Swagger与OpenAPI的关系演进是API标准化进程中的重要篇章，二者共同塑造了现代RESTful API的开发范式。 本期就扒一扒其技术演进的关键节点与核心逻辑： 🔄 一、起源与初创期：Swagger的诞生（2010-2014） 核心…...
分布式增量爬虫实现方案
之前我们在讨论的是分布式爬虫如何实现增量爬取。增量爬虫的目标是只爬取新产生或发生变化的页面，避免重复抓取，以节省资源和时间。 在分布式环境下，增量爬虫的实现需要考虑多个爬虫节点之间的协调和去重。 另一种思路：将增量判…...