【零拷贝】

目录

一：了解IO基础概念

二：数据流动的层次结构

三：零拷贝

1.传统IO文件读写

2.mmap 零拷贝技术

3.sendFile 零拷贝技术

---

一：了解IO基础概念

理解CPU拷贝和DMA拷贝

​         我们知道，操作系统对于内存空间，是分为用户态和内核态的。用户态的应用程序无法直接操作硬件，需要通过内核空间进行操作转换，才能真正操作硬件。这其实是为了保护操作系统的安全。正因为如此，应用程序需要与网卡、磁盘等硬件进行数据交互时，就需要在用户态和内核态之间来回的复制数据。而这些操作，原本都是需要由CPU来进行任务的分配、调度等管理步骤的，早先这些IO接口都是由CPU独立负责，所以当发生大规模的数据读写操作时，CPU的占用率会非常高。

之后，操作系统为了避免CPU完全被各种IO调用给占用，引入了DMA(直接存储器存储)。由DMA来负责这些频繁的IO操作。DMA是一套独立的指令集，不会占用CPU的计算资源。这样，CPU就不需要参与具体的数据复制的工作，只需要管理DMA的权限即可。

​ DMA拷贝极大的释放了CPU的性能，因此他的拷贝速度会比CPU拷贝要快很多。但是，其实DMA拷贝本身，也在不断优化。

​ 引入DMA拷贝之后，在读写请求的过程中，CPU不再需要参与具体的工作，DMA可以独立完成数据在系统内部的复制。但是，数据复制过程中，依然需要借助数据总进线。当系统内的IO操作过多时，还是会占用过多的数据总线，造成总线冲突，最终还是会影响数据读写性能。

​ 为了避免DMA总线冲突对性能的影响，后来又引入了Channel通道的方式。Channel，是一个完全独立的处理器，专门负责IO操作。既然是处理器，Channel就有自己的IO指令，与CPU无关，他也更适合大型的IO操作，性能更高。

​ 这也解释了，为什么Java应用层与零拷贝相关的操作都是通过Channel的子类实现的。这其实是借鉴了操作系统中的概念。

channel知识点：

在计算机系统中，“通道”（Channel） 的具体作用范围取决于上下文（如硬件架构、操作系统或编程框架）。以下是不同场景下的解释：

---

通道是 数据传输的路径或抽象机制，通常不直接等同于“操作系统内存 ↔ 外设”的物理传输，而是分层协作中的一环。

(1) 硬件层的通道（如传统大型机）

• 功能：
  某些系统（如 IBM 大型机）的 I/O 通道 是专用硬件，直接管理外设（磁盘、磁带）与内存的传输。

• 特点：

  • 通道是独立于 CPU 的处理器，可执行复杂的 I/O 指令（如协议解析、数据分块）。

  • 直接与外设控制器交互，完成物理数据传输（类似增强版 DMA）。

• 示例：
  大型机中，通道从磁盘读取数据到内存，无需 CPU 干预。

(2) 操作系统层的通道（如设备驱动）

• 功能：
  操作系统通过 设备驱动 和 内核 I/O 子系统 管理外设与内存的交互。

• 特点：

  • 通道在此上下文中更接近 逻辑抽象（如 /dev 下的设备文件）。

  • 实际数据传输依赖 DMA 或 PIO（编程 I/O）。

(3) 编程框架中的通道（如 Java NIO）

• 功能：
  Java NIO 的 Channel（如 FileChannel、SocketChannel）是 用户空间与内核空间之间的桥梁。

• 特点：

  • 通过系统调用与内核交互，数据在用户缓冲区（如 ByteBuffer）和内核的 Page Cache 之间传输。

  • 不直接操作外设，物理传输由操作系统和 DMA 完成。

二：数据流动的层次结构

计算机系统中，数据从程序到磁盘（或反向）的流动通常经过以下层级：

程序中的 IO 流 → 用户空间缓冲区 → 操作系统缓存页（内核空间） → 磁盘驱动 → 物理磁盘

示意图

程序代码               用户空间              内核空间              硬件层
┌───────────┐       ┌─────────────┐      ┌──────────────┐      ┌────────┐
│  IO 流    │ → → → │ 用户缓冲区   │ → → → │ Page Cache    │ → → → │ 磁盘   │
└───────────┘       └─────────────┘      └──────────────┘      └────────┘（程序层）             （操作系统层）        （物理层）

 而零拷贝技术是减少用户空间和内存空间之间数据传输的次数，接下来，将进入零拷贝的讲解。

三：零拷贝

        零拷贝（Zero-copy） 是一种优化技术，旨在 减少或消除数据在内存中的冗余复制操作，从而提升 I/O 性能。它主要作用于 用户空间内存与内核空间内存之间的数据传输，但最终目标是减少整个数据链路（从磁盘到网络、或内存到外设）中的复制次数。

        对于Java应用层来说，零拷贝有mmap和sendFile两种方式。

1.传统IO文件读写

        说零拷贝技术之前，要先了解传统的IO文件读写是怎么样的，才能更好的理解零拷贝技术，下面先说传统IO的读写工作流程。

传统IO文件读写

      传统IO文件读写如下图1-1所示：

                                                图1-1 传统IO文件读写流程图

传统IO文件读写工作流程：

整体流程

Java 程序 → 用户空间 → 内核空间（Page Cache） → 磁盘（修改数据） ↑↓（读写）       （DMA 传输）

流程分三个阶段：读取数据 → 修改数据 → 写回数

详细步骤与层级交互

(1) 打开文件

• Java 代码：使用 FileInputStream、FileChannel 或 RandomAccessFile 打开文件。

• 系统调用：open()，触发内核创建文件描述符，建立程序与文件的连接。

(2) 读取数据（磁盘 → 内核空间 → 用户空间）

1. 磁盘到内核空间（Page Cache）：

   • DMA 传输：磁盘控制器通过 DMA（直接内存访问） 将文件数据直接读取到内核的 Page Cache，无需 CPU 参与。

   • 触发方式：Java 调用 FileChannel.read(ByteBuffer) 或 InputStream.read()，底层触发 read() 系统调用。

2. 内核空间到用户空间：

   • 数据拷贝：内核将 Page Cache 中的数据复制到用户空间的缓冲区（如 byte[] 或 ByteBuffer）。

   • 性能开销：此拷贝由 CPU 完成，是小文件读取的主要性能瓶颈。

(3) 修改数据（用户空间内操作）

• Java 操作：在用户空间的缓冲区中修改数据（如字符串替换、字节操作）。

• 示例：

  String content = new String(buffer.array(), StandardCharsets.UTF_8);
  String modifiedContent = content.replace("old", "new");
  byte[] newData = modifiedContent.getBytes(StandardCharsets.UTF_8);

(4) 写回数据（用户空间 → 内核空间 → 磁盘）

1. 用户空间到内核空间（Page Cache）：

   • 数据拷贝：用户空间的修改后数据通过 FileChannel.write(ByteBuffer) 或 OutputStream.write() 触发 write() 系统调用，将数据复制到内核的 Page Cache。

   • 延迟写入：数据暂存于 Page Cache，不会立即写入磁盘。

2. 内核空间到磁盘：

   • DMA 传输：操作系统通过 DMA 将 Page Cache 中的数据异步写入磁盘。

   • 刷盘时机：

     • 定时刷盘：由内核线程（如 pdflush）定期将脏页（修改过的数据）写入磁盘。

     • 强制刷盘：调用 FileChannel.force(true) 触发 fsync() 系统调用，确保数据持久化。

(5) 关闭文件

• Java 代码：调用 close() 释放文件描述符。

• 系统调用：close()，释放内核资源。

2.mmap 零拷贝技术

  mmap 零拷贝技术 的核心是通过内存映射文件（Memory-Mapped File）将文件内容直接映射到用户空间的虚拟内存，从而避免传统 I/O 中用户空间与内核空间之间的数据拷贝。

mmap零拷贝技术IO读写

       IO文mmap零拷贝技术文件读写如下图1-2所示：

                                        图2-1 mmap零拷贝技术文件读写流程图

mmap零拷贝IO文件读写工作流程：

工作流程概述

磁盘 → Page Cache →（内存映射）→ 用户空间虚拟内存 →（修改数据）→ Page Cache → 磁盘

 详细步骤

1. 打开文件并创建内存映射

• 用户空间：
  使用 FileChannel.map() 将文件映射到用户空间的虚拟内存。

• 内核空间：
  内核将文件的磁盘块映射到 Page Cache，并建立用户空间虚拟内存与 Page Cache 的映射关系。

• 代码示例：

  FileChannel channel = FileChannel.open(Paths.get("file.txt"), StandardOpenOption.READ, StandardOpenOption.WRITE);
  MappedByteBuffer buffer = channel.map(FileChannel.MapMode.READ_WRITE, 0, channel.size());

2. 读取数据

• 用户空间：
  用户程序直接通过 MappedByteBuffer 访问数据，无需显式调用 read()。

• 内核空间：
  若数据未加载到 Page Cache，触发缺页中断，内核从磁盘读取数据到 Page Cache。

• 零拷贝：
  数据直接从 Page Cache 映射到用户空间，无需复制到用户缓冲区。

3. 修改数据

• 用户空间：
  用户程序直接修改 MappedByteBuffer 中的数据。

• 内核空间：
  修改后的数据标记为 脏页（Dirty Page），暂存于 Page Cache。

4. 写回磁盘

• 用户空间：
  调用 buffer.force() 强制将脏页刷回磁盘。

• 内核空间：
  内核将脏页从 Page Cache 写回磁盘的对应位置。

• 代码示例：

  buffer.force(); // 强制刷盘

5. 关闭映射

• 用户空间：
  关闭 FileChannel，释放映射的内存区域。

• 内核空间：
  解除内存映射，释放相关资源。

• 代码示例：

  channel.close();

3.sendFile 零拷贝技术

        早期的sendFile其实和mmap一样，实现机制还是依靠CPU进行页缓存与socket缓存区之间的数据拷贝，如图3-1所示。

                                 图3-1 早期的sendFile 读写流程图

         从Linux内核2.6.33版本开始，引入了对 Scatter-Gather DMA（分散-聚集 DMA） 的支持，优化了实现机制，在拷贝过程中，并不直接拷贝文件的内容，而是只拷贝一个带有文件位置和长度等信息的文件描述符FD，这样子就大大减少了需要传递的数据。而真实的数据内容，会交由DMA控制器，从页缓存中打包异步发送到socket中。如图3-2所示。

                                       图3-2 Linux内核2.6.33 版本 sendFile 读写流程图

注意: sendfile 系统调用 的主要设计目标是 将文件数据高效地发送到网络套接字，因此它 不支持将用户空间的数据直接写入磁盘。

工作流程概述

磁盘 → Page Cache →（sendfile）→ 网卡

详细步骤

1. 打开文件

• 用户空间：
  使用 FileChannel 打开文件。

• 内核空间：
  内核将文件的磁盘块映射到 Page Cache。

• 代码示例：

  FileChannel fileChannel = new FileInputStream("file.txt").getChannel();

2. 打开网络套接字

• 用户空间：
  使用 SocketChannel 打开网络连接。

• 内核空间：
  内核创建 Socket Buffer，用于管理网络数据。

• 代码示例：

  SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("host", 8080));

3. 使用 sendfile 发送数据

• 用户空间：
  调用 FileChannel.transferTo()，底层使用 sendfile 系统调用。

• 内核空间：
  数据直接从 Page Cache 通过 DMA 发送到网卡，绕过用户空间。

• 代码示例：

  fileChannel.transferTo(0, fileChannel.size(), socketChannel); // 零拷贝发送

4. 关闭资源

• 用户空间：
  关闭 FileChannel 和 SocketChannel，释放资源。

• 内核空间：
  释放 Page Cache 和 Socket Buffer 资源。

• 代码示例：

  fileChannel.close();
  socketChannel.close();