显存：存储，GPU：计算；Pipeline Parallelism（管道并行）

目录

显存：存储，GPU：计算

流水线切分策略：（数据并并，多头并行，单头MLP切片）

存储（显存）和计算（GPU）负载不均衡的问题

1,2,3,4,5指的计算任务（数据切分）

大方块代表GPU计算

黄色代表显存

解决办法：重计算和流水线切分策略

重计算策略：

流水线切分策略：（数据并并，多头并行，单头MLP切片）

Pipeline Parallelism（管道并行）

GPipe

1F1B（One Forward One Backward）

举例说明

“Stage”和“Phase”是两个常用于描述训练不同阶段术语

Stage的含义与举例

Phase的含义与举例

举例说明

---

显存：存储，GPU：计算

流水线切分策略：（数据并并，多头并行，单头MLP切片）

1. 显存与存储：
   • 显存（Video Memory或Graphics Memory）是GPU上的专用内存，用于存储图形数据、纹理、帧缓冲区等。在图形处理和并行计算任务中，显存扮演着关键角色，因为它需要快速访问和存储大量数据。
   • 当我们提到“存储”时，通常指的是计算机系统中的内存或存储设备，如RAM（随机存取存储器）、硬盘驱动器（HDD）或固态硬盘（SSD）。然而&#x