当前位置： 首页 > news >正文

AI并行计算：CUDA和ROCm

news 2026/2/7 17:57:08

1 介绍

1.1 CUDA

CUDA（Compute Unified Device Architecture）是Nvidia于2006年推出的一套通用并行计算架构，旨在解决在GPU上的并行计算问题。其易用性和便捷性能够方便开发者方便的进行GPU编程，充分利用GPU的并行能力，可以大幅提高程序的性能。目前CUDA已成为GPU加速计算的事实标准。

自从CUDA诞生以来，CUDA生态系统也迅速的发展，包括了大量的软件开发工具、服务和解决方案。CUDA Toolkit包括了库、调试和优化工具、编译器和运行时库。

CUDA特点：

  • 专有性：CUDA仅适用于NVIDIA的GPU。

  • 成熟度：CUDA拥有广泛的应用案例，被广泛应用于学术研究和工业界。

  • 生态系统：CUDA有一个成熟且广泛的生态系统，包括深度学习框架（如TensorFlow和PyTorch）、科学计算库和多种工具。

1.2 ROCm

AMD ROCm是Radeon Open Compute (platform)的缩写，是2015年AMD公司为了对标CUDA生态而开发的一套用于HPC和超大规模GPU计算提供的开源软件开发平台，ROCm只支持Linux平台。

同样ROCm包含一些列的开发工具、软件框架、库、编译工具、编程模型等。

ROCm特点：

  • 开放性：作为一个开源项目，ROCm旨在提供一个跨供应商的GPU计算解决方案。

  • 兼容性：主要支持AMD的GPU，但也在向其他厂商的硬件开放。

  • 生态系统：虽然相对较新，但正在迅速发展，支持包括TensorFlow和PyTorch在内的多个深度学习框架。

2 CUDA和ROCm对比

2.1 编程模型和API

NVIDIA

AMD

功能描述

CUDA

HIP

为C/C++开发GPU加速程序提供全面的环境，API、Runtime、编译器、调试工具等。

OpenCL

OpenCL

面向异构系统通用目的并行编程的开放式、免费标准，也是一个统一的编程环境，便于软件开发人员为高性能计算服务器、桌面计算系统、手持设备编写高效轻便的代码，

OpenACC

并行计算指令，研究人员和技术程序员最常用的GPU并行编程模型。

OpenMP

OpenMP是一套编译器指令、库例程和环境变量的规范，可用于指定Fortran和C/C++程序中的高级并行性。

2.2 编译及工具链

NVIDIA

AMD

功能描述

NVCC

ROCmCC / HCC

编译器

CUDA-GDB

ROCgdb

debug工具

HIPify

将CUDA原生代码转换为HIP原生c++代码

Nvidia Nsight

ROCm Profiling Tools

性能分析工具

nvidia-smi

rocm-msi

系统管理界面和命令行界面的工具

2.3 GPU加速库

CUDA和ROCm的基础框架提供众多的支持库，包括基础数学库、AI支持库、通信库、并行库等一些列，下面将列出来做个对照：

  • 数学库

NVIDIA

AMD

功能描述

cuBLAS

rocBLAS

基本线性代数库（basic linear algebra，BLAS）

cuFFT

rocFFT

快速傅里叶变换库（Fast Fourier Transforms）

CUDA Math Library

标准数学函数库

cuRAND

随机数生成（random number generation，RNG)

cuSOLVER

rocSOLVER

密集和稀疏直接求解器

cuSPARSE

rocSPARSE / rocALUTION

稀疏矩阵BLAS

cuTENSOR

rocWMMA

张量线性代数库

AmgX

用于模拟和隐式非结构化方法线性解算器

  • 并行算法库

NVIDIA

AMD

功能描述

Thrust

Parallel STL / rocThrust

C++并行算法和数据结构库

  • 图像和视频库

NVIDIA

AMD

功能描述

nvJPEG

用于JPEG解码的高性能GPU加速库

Nvidia Performance Primitive

提供GPU加速的图像、视频和信号处理功能

Nvidia Video Codec SDK

硬件加速视频编码和解码的一整套API、示例和文档网址:yii666.com<

  • 通信库

NVIDIA

AMD

功能描述

NVSHMEM

OpenSHMEM标准的GPU内存，具有扩展以提高GPU性能。

NCCL

RCCL

多GPU、多节点通信

  • 深度学习/人工智能库

Nvidia

AMD

  • cuDNN：深度神经网络基元库

  • TensorRT：用于生产部署的高性能深度学习推理优化器和运行时

  • Nvidia Riva：用于开发交互式情景AI会话应用的平台

  • Nvidia DeepStream SDK：用于基于AI的视频理解和多传感器处理的实时流分析工具包

  • Nvidia DLI：用于解码和增强图像和视频以加速深度学习应用的便携式开源库

  • MIOpen：AMD的深度学习基元库，提供不同运算符的高度优化和手动调整实现，如卷积、批量归一化、池化、softmax、激活和递归神经网络（RNN）层，用于训练和推理。

  • MIGraphX：AMD的图形推理引擎，可加速机器学习模型推理。AMD MIGraphX可以通过直接安装二进制文件或从源代码构建来使用。

  • MIVisionX：MIVisionX工具包是一套全面的计算机视觉和机器智能库、实用程序和应用程序，捆绑在一个工具包中。AMD MIVisionX提供高度优化的Khronos OpenVX™和OpenVX™扩展的开源实现沿着支持ONNX和Khronos NNEF™交换格式的卷积神经网络模型编译器和优化器。

2.4 开发工具

Nvidia

AMD

  • Nvidia DCGM：数据中心管理

  • nvidia-smi：系统管理界面和命令行界面的工具

  • Nvidia Nsight：调试和性能分析工具

  • ROCm Data Center Tools：数据中心环境中AMD GPU的管理

  • rocm-smi：系统管理界面和命令行界面的工具

  • ROCm Profiling Tools：性能分析工具

  • ROCmDebugger：调试工具

3 总结

CUDA和ROCm对比总结如下：

  • 硬件支持： CUDA专注于NVIDIA的GPU，而ROCm更注重提供跨平台的支持，尽管目前主要针对AMD的GPU。

  • 开放性： ROCm作为一个开源项目，更加开放和灵活，而CUDA是NVIDIA的专有技术。

  • 生态系统和成熟度： CUDA拥有更成熟的生态系统和更广泛的应用案例。相比之下，ROCm还在发展中，但正在迅速成长。

  • 性能： 性能方面，CUDA和ROCm都能提供优秀的计算能力，但具体表现会根据应用场景和硬件配置而有所不同。

CUDA和ROCm都是用于高性能计算的平台，特别是在GPU加速的情况下。它们提供了工具和库，使得开发者能够有效地利用GPU来加速计算密集型任务，选择CUDA还是ROCm主要取决于业务的特定需求、所使用的硬件以及对开放性的偏好。CUDA在高性能计算领域更加成熟和普遍，但如果你使用AMD的硬件或者更倾向于使用开源技术，ROCm是一个不断增长的选择。

相关文章：

AI并行计算：CUDA和ROCm

1 介绍 1.1 CUDA CUDA&#xff08;Compute Unified Device Architecture&#xff09;是Nvidia于2006年推出的一套通用并行计算架构&#xff0c;旨在解决在GPU上的并行计算问题。其易用性和便捷性能够方便开发者方便的进行GPU编程&#xff0c;充分利用GPU的并行能力&#xff0…...

编程日记 2023/12/8 9:39:23

2023/12/1JAVAmysql(mysql连接,数据定义语言,数据类型,数据操作语言,数据查询语言)

>0...

编程日记 2023/12/8 9:38:22

2023五岳杯量子计算挑战赛数学建模思路+代码+模型+论文

目录 计算力网络&#xff08;CPN&#xff09;是一种新型的信息基础设施&#xff0c;完整论文代码见文末 问题描述 2.1 问题1 2.2 问题2 2.3 问题3 问题1的解答过程&#xff1a; 问题3的解答过程&#xff1a; 决策优化应用场景&#xff1a;人工智能模型超参数调优 背景信…...

编程日记 2023/12/8 9:35:20

生信数据分析高效Python代码

1. Pandas glob获取指定目录下的文件列表 import pandas as pd import globdata_dir "/public/data/" # 获取文件后缀为.txt的文件列表 df_all pd.concat([pd.read_csv(f, sep\t) for f in glob.glob(data_dir *.txt)]) print(df_all)2. 使用 enumerate 函数获取…...

编程日记 2023/12/8 9:34:18

Spring Kafka常用配置详解

目录 前言producer配置consumer 配置listener 配置 前言 在 Spring Kafka 中&#xff0c;主要的配置分为三大块&#xff0c;分别是producer、consumer、listener&#xff0c;下面我们就按模块介绍各个模块的常用配置 producer配置 在 Spring Kafka 中&#xff0c;spring.kaf…...

编程日记 2023/12/8 9:33:16

跨域的多种方案详解

浏览器的同源策略是为了保护用户的安全&#xff0c;限制了跨域请求。同源策略要求请求的域名、协议和端口必须完全一致&#xff0c;只要有一个不同就会被认为是跨域请求。 本文列举了一些处理跨域请求的解决方案&#xff1a; JSONPCORS跨域资源共享http proxynginx反向代理web…...

编程日记 2023/12/8 9:30:13

Java / Scala - Trie 树简介与应用实现

目录 一.引言 二.Tire 树简介 1.树 Tree 2.二叉搜索树 Binary Search Tree 3.字典树 Trie Tree 3.1 基本概念 3.2 额外信息 3.3 结点实现 3.4 查找与存储 三.Trie 树应用 1.应用场景 2.Java / Scala 实现 2.1 Pom 依赖 2.2 关键词匹配 四.总结 一.引言 Trie 树…...

编程日记 2023/12/8 9:26:09

JS/jQuery 获取 HTTPRequest 请求标头?

场景&#xff1a;在jquery封装的ajax请求中&#xff0c;默认是异步请求。 需要定一个秘钥进行解密&#xff0c;所以只能存放在请求头中。然后需要值的时候去请求头中读取。 注意&#xff1a;dataType设置&#xff0c;根据请求参数的格式设置&#xff0c;如果是加密字符串&…...

编程日记 2023/12/8 9:25:08

Leetcode—2034.股票价格波动【中等】

2023每日刷题&#xff08;五十二&#xff09; Leetcode—2034.股票价格波动 算法思想 实现代码 class StockPrice { public:int last 0;multiset<int> total;unordered_map<int, int> m;StockPrice() {}void update(int timestamp, int price) {if(m.count(time…...

编程日记 2023/12/8 9:21:05

【Linux】diff命令使用

diff命令 是一个用于比较两个文件或目录之间差异的命令。它可以显示两个文件之间的行级别差异&#xff0c;并以易于阅读的格式输出结果。 著者 由保罗艾格特、迈克海特尔、大卫海耶斯、理查德史泰尔曼和Len Tower撰写。 diff命令 -Linux手册页 语法 diff [选项] [文件1]…...

编程日记 2023/12/8 9:20:04

讯飞星火认知大模型与软件测试结合，提升软件质量与效率

随着人工智能技术的不断发展&#xff0c;越来越多的企业开始将其应用于软件开发过程中。其中&#xff0c;讯飞星火认知大模型作为一种基于深度学习的自然语言处理技术&#xff0c;已经在语音识别、机器翻译、智能问答等领域取得了显著的成果。而在软件测试领域&#xff0c;讯飞…...

编程日记 2023/12/8 9:19:03

【Flink on k8s】- 4 - 在 Kubernetes 上运行容器

目录 1、准备 k8s 集群环境、Docker 环境 2、启用 kubernetes 2.1 查询 k8s 集群基本状态...

编程日记 2023/12/8 9:17:01

软件重装或系统重装后避免重复踩坑

1. Office软件的坑在于字体又没了 Word字体库默认没有仿宋_GB2312和楷体仿宋_GB2312&#xff0c;需要手动添加。 提供如下两个下载链接&#xff0c;亲测有效&#xff1a; 仿宋_GB2312 楷体_GB2312 安装步骤&#xff1a;解压-复制.ttf文件至C:\Windows\Fonts 持续更新贴~...

编程日记 2023/12/8 9:14:59

【Jmeter】JSON Extractor变量包含转义字符，使用Beanshell脚本来消除

如果使用Jmeter的JSON Extractor提取的变量包含特殊字符&#xff0c;直接引用时会包含转义字符。可以使用Beanshell脚本来进行字符串转换&#xff0c;从而消除这些转义字符。 import com.alibaba.fastjson.JSONObject; import com.alibaba.fastjson.JSONArray; import com.ali…...

编程日记 2023/12/8 9:13:58

GO设计模式——5、建造者模式（创建型）

目录 建造者模式&#xff08;Builder Pattern&#xff09; 建造者模式的核心角色 优缺点 使用场景 注意事项 代码实现 建造者模式&#xff08;Builder Pattern&#xff09; 建造者模式&#xff08;Builder Pattern&#xff09;是将一个复杂对象的构建与它的表示分离&…...

编程日记 2023/12/8 9:12:58

《LeetCode力扣练习》代码随想录——字符串（反转字符串II---Java）

《LeetCode力扣练习》代码随想录——字符串&#xff08;反转字符串II—Java&#xff09; 刷题思路来源于 代码随想录 541. 反转字符串 II 模拟过程 class Solution {public String reverseStr(String s, int k) {if(s.length()1){return s;}char[] chs.toCharArray();for(int i…...

编程日记 2023/12/8 9:11:57

WMMSE方法的使用笔记

标题很帅 原论文的描述WMMSE的简单应用 无线蜂窝通信系统的预编码设计问题中&#xff0c;经常提到用WMMSE方法设计多用户和速率最大化的预编码&#xff0c;其中最为关键的一步是将原和速率最大化问题转化为均方误差最小化问题&#xff0c;从而将问题由非凸变为关于三个新变量的…...

编程日记 2023/12/8 9:09:55

MySQL核心知识点整理大全1-笔记

目录 MySQL 一、MySQL的基本概念 1.数据库 2.表 3.列 4.行 5.主键 6.索引 二、MySQL的安装与配置 1.下载MySQL安装包 2.安装MySQL 3.启动MySQL 4.配置MySQL a.设置监听端口和IP地址 b.设置数据存储路径 c.设置字符集和排序规则 5.测试MySQL 三、MySQL的基本操…...

编程日记 2023/12/8 9:07:53

理解输出电压纹波和噪声：来源与抑制

医疗设备、测试测量仪器等很多应用对电源的纹波和噪声极其敏感。理解输出电压纹波和噪声的产生机制以及测量技术是优化改进电路性能的基础。 1&#xff1a;输出电压纹波 以Buck电路为例&#xff0c;由于寄生参数的影响&#xff0c;实际Buck电路的输出电压并非是稳定干净的直流…...

编程日记 2023/12/8 9:05:51

uni-app 微信小程序之好看的ui登录页面（二）

文章目录 1. 页面效果2. 页面样式代码 更多登录ui页面 uni-app 微信小程序之好看的ui登录页面&#xff08;一&#xff09; uni-app 微信小程序之好看的ui登录页面&#xff08;二&#xff09; uni-app 微信小程序之好看的ui登录页面&#xff08;三&#xff09; uni-app 微信小程…...

编程日记 2023/12/8 9:04:50

uni-app学习笔记二十二---使用vite.config.js全局导入常用依赖

在前面的练习中&#xff0c;每个页面需要使用ref&#xff0c;onShow等生命周期钩子函数时都需要像下面这样导入 import {onMounted, ref} from "vue" 如果不想每个页面都导入&#xff0c;需要使用node.js命令npm安装unplugin-auto-import npm install unplugin-au…...

编程新知 2025/9/14 18:41:15

oracle与MySQL数据库之间数据同步的技术要点

Oracle与MySQL数据库之间的数据同步是一个涉及多个技术要点的复杂任务。由于Oracle和MySQL的架构差异&#xff0c;它们的数据同步要求既要保持数据的准确性和一致性&#xff0c;又要处理好性能问题。以下是一些主要的技术要点&#xff1a; 数据结构差异 数据类型差异&#xff…...

编程新知 2026/1/11 0:40:53

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器&#xff0c;其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机&#xff08;Virtual Host&#xff09;。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/9/6 16:47:17

PL0语法，分析器实现！

简介 PL/0 是一种简单的编程语言，通常用于教学编译原理。它的语法结构清晰，功能包括常量定义、变量声明、过程（子程序）定义以及基本的控制结构（如条件语句和循环语句）。 PL/0 语法规范 PL/0 是一种教学用的小型编程语言，由 Niklaus Wirth 设计，用于展示编译原理的核…...

编程新知 2026/1/29 17:06:33

是否存在路径（FIFOBB算法）

题目描述 一个具有 n 个顶点e条边的无向图&#xff0c;该图顶点的编号依次为0到n-1且不存在顶点与自身相连的边。请使用FIFOBB算法编写程序&#xff0c;确定是否存在从顶点 source到顶点 destination的路径。 输入 第一行两个整数&#xff0c;分别表示n 和 e 的值&#xff08;1…...

编程新知 2025/10/1 6:09:21

SAP学习笔记 - 开发26 - 前端Fiori开发 OData V2 和 V4 的差异 (Deepseek整理）

上一章用到了V2 的概念&#xff0c;其实 Fiori当中还有 V4&#xff0c;咱们这一章来总结一下 V2 和 V4。 SAP学习笔记 - 开发25 - 前端Fiori开发 Remote OData Service(使用远端Odata服务)&#xff0c;代理中间件&#xff08;ui5-middleware-simpleproxy&#xff09;-CSDN博客…...

编程新知 2026/2/3 8:20:06

处理vxe-table 表尾数据是单独一个接口，表格tableData数据更新后，需要点击两下，表尾才是正确的

修改bug思路&#xff1a; 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑&#xff1a;async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...

编程新知 2026/1/25 6:16:49

Python Einops库：深度学习中的张量操作革命

Einops&#xff08;爱因斯坦操作库&#xff09;就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库&#xff0c;用类似自然语言的表达式替代了晦涩的API调用&#xff0c;彻底改变了深度学习工程…...

编程新知 2025/10/16 12:04:52

论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing

Muffin 论文 现有方法 CRADLE 和 LEMON&#xff0c;依赖模型推理阶段输出进行差分测试&#xff0c;但在训练阶段是不可行的&#xff0c;因为训练阶段直到最后才有固定输出&#xff0c;中间过程是不断变化的。API 库覆盖低&#xff0c;因为各个 API 都是在各种具体场景下使用。…...

编程新知 2026/2/1 1:28:58

Kubernetes 网络模型深度解析：Pod IP 与 Service 的负载均衡机制，Service到底是什么？

Pod IP 的本质与特性 Pod IP 的定位 纯端点地址&#xff1a;Pod IP 是分配给 Pod 网络命名空间的真实 IP 地址&#xff08;如 10.244.1.2&#xff09;无特殊名称&#xff1a;在 Kubernetes 中&#xff0c;它通常被称为 “Pod IP” 或 “容器 IP”生命周期&#xff1a;与 Pod …...

编程新知 2025/11/4 22:48:45