主机CPU访问PCIe设备内存空间和PCIe设备访问主机内存空间

在x86体系架构中，主机CPU访问PCIe设备内存空间和PCIe设备访问主机内存空间的过程涉及多个层次的地址映射和转换。以下是详细的解释：

主机CPU访问PCIe设备内存空间

1. CPU生成虚拟地址（Virtual Address, VA）:

• 在x86架构中，应用程序或操作系统通过虚拟地址访问内存。

2. 虚拟地址到物理地址的转换（VA -> PA）:

• 通过内存管理单元（MMU），使用页表（Page Table）将虚拟地址转换为物理地址（Physical Address, PA）。
• 这一步涉及页表查找，可能会涉及多级页表。

3. 物理地址到PCIe地址的转换（PA -> PCIe Address）:

• 操作系统或BIOS在初始化时，通过配置PCIe设备的Base Address Registers (BARs) 来映射设备内存到主机的物理地址空间。
• 物理地址空间的一部分被保留用于PCIe设备的内存映射I/O（MMIO）。
• 当CPU生成的物理地址在这些保留范围内时，地址会被映射到相应的PCIe设备。

4. PCIe总线传输:

• 转换后的地址通过PCIe控制器发送到PCIe总线。
• PCIe控制器根据地址范围将请求路由到正确的PCIe设备。

PCIe设备访问主机内存空间

1. PCIe设备生成地址请求:

• PCIe设备通过DMA（Direct Memory Access）来访问主机内存。设备生成一个目标地址，该地址是主机内存的物理地址。

2. PCIe地址到物理地址的转换（PCIe Address -> PA）:

• 设备生成的地址是目标主机内存的物理地址，不需要进一步转换。
• 设备直接通过PCIe总线发送地址和数据传输请求。

3. 物理地址到虚拟地址的转换（PA -> VA）:

• 主机的DMA控制器或IOMMU（Input-Output Memory Management Unit）负责将设备请求的物理地址转换为合适的虚拟地址（如果需要）。
• 使用IOMMU时，设备生成的地址可能是设备虚拟地址（Device Virtual Address, DVA），IOMMU将其转换为主机的物理地址。

4. 内存访问:

• 转换完成后，数据被直接传输到主机内存的物理地址空间中。

地址映射和转换总结

- 主机CPU到PCIe设备:

1. 虚拟地址（VA） -> 物理地址（PA）：通过MMU和页表转换。
2. 物理地址（PA） -> PCIe地址：通过PCIe BARs映射。
3. 通过PCIe总线传输到设备。

- PCIe设备到主机内存：

1. 设备生成PCIe地址（通常是主机物理地址）。
2. 直接通过PCIe总线传输。
3. 可选：通过IOMMU进行地址转换（设备地址 -> 物理地址）。
4. 访问主机内存。

这种双向通信机制使得主机CPU和PCIe设备能够高效地共享内存资源，实现高速数据传输和处理。