紫光同创FPGA实现UDP协议栈网络视频传输，基于YT8511和RTL8211，提供4套PDS工程源码和技术支持

紫光同创FPGA实现UDP协议栈网络视频传输，基于YT8511和RTL8211，提供2套PDS工程源码和技术支持

1、前言

“苟利国家生死以，岂因祸福避趋之！”大洋彼岸的我优秀地下档员，敏锐地洞察到祖国的短板在于高精尖半导体的制造领域，于是本着为中华民族伟大复兴的中国梦贡献绵薄之力的初心，懂先生站在高略高度和长远角度谋划，宁愿背当代一世之骂名也要为祖国千秋万世谋，2018年7月，懂先生正式打响毛衣战，随后又使出恰勃纸战术，旨在为祖国先进制程半导体领域做出自主可控的战略推动；在此，请收下我一声谢谢啊！！！！！！

2019年初我刚出道时，还是Xilinx遥遥领先的时代(现在貌似也是)，那时的国产FPGA还处于辣鸡段位，国产FPGA仰望Xilinx情不自禁道：你以为躲在这里就找不到你吗？没用的，你那样拉轰的男人，无论在哪里，都像黑夜里的萤火虫那样的鲜明、那样的出众，你那忧郁的眼神，稀嘘的胡渣子，神乎其技的刀法，还有那杯Dry martine，都深深的迷住了我。。。然而才短短4年，如今的国产FPGA属于百家争鸣、百花齐放、八仙过海、神仙打架、方兴未艾、得陇望蜀、友商都是XX的喜极而泣之局面，面对此情此景，不得不吟唱老人家的诗句：魏武挥鞭，东临碣石有遗篇，萧瑟秋风今又是，换了人间。。。
言归正传，目前对于国产FPGA的共识有以下几点：
1：性价比高，与同级别国外大厂芯片相比，价格相差几倍甚至十几倍；
2：自主可控，国产FPGA拥有完整自主知识产权的产业链，从芯片到相关EDA工具
3：响应迅速，FAE技术支持比较到位，及时解决开发过程中遇到的问题，毕竟中文数据手册。。
4：采购方便，产业链自主可控，采购便捷

没玩过UDP或TCP都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。本文使用紫光同创的PGL22G-6MBG324 FPGA实现UDP协议栈络视频传输，该协议栈是精简版，采用纯verilog代码实现，具备动态ARP、支持巨型帧、CRC32校验、占用逻辑资源很少等功能，但不具备ping功能；FPGA采集外部摄像头数据，然后对视频数据进行组包封装，以适应QT上位机的接收要求，随后将组包的视频数据放入FIFO中做跨时钟和数据位宽转换，然后视频数据送入UDP协议栈进行UDP协议的网络数据包组包，最后通过YT8511和RTL8211做硬件PHY后通过RJ45网口的网线发送出去，电脑端打开上位机，即可接收并显示FPGA发过来的视频；

本设计提供4套Pango Design Suite 2021.4版本的工程源码；4套工程的区别在于输入摄像头是OV7725或者OV5640，使用网络PHY是YT8511或者RTL8211；4套工程详情如下：

//
|    PDS工程      输入视频     网络PHY  输入输出分辨率|
| 第一套PDS工程  OV7725摄像头  YT8511   640X480      |
| 第二套PDS工程  OV5640摄像头  YT8511   640X480      |
| 第三套PDS工程  OV7725摄像头  RTL8211  640X480      |
| 第四套PDS工程  OV5640摄像头  RTL8211  640X480      |
//

这里需要注意以下几点：
1：视频没有进行DDR的缓存，仅做FIFO级别的缓存，所以要求输入视频的像素时钟必须低于125M，因为GMII的时钟是125M，所高于125M，则会出现FIFO堵死的情况；
2：目前QT上位机只是个测试版本，支持支640X480分辨率的输入图像，所以输入视频必须是640X480，若不是，请缩放到此分辨率；
3：目前QT上位机只是个测试版本，不是很稳定，若有时闪退或者无图像，请多次关闭后重新打开，QT上位机只提供上位机可执行程序，不提供源码；

本博客详细描述了紫光同创FPGA实现UDP协议栈网络视频传输的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我这里已有的以太网方案

目前我这里有大量UDP协议的工程源码，包括UDP数据回环，视频传输，AD采集传输等，也有TCP协议的工程，还有RDMA的NIC 10G 25G 100G网卡工程源码，对网络通信有需求的兄弟可以去看看：直接点击前往
其中千兆TCP协议的工程博客如下：
直接点击前往

紫光同创FPGA精简版UDP方案

该方案同样使用紫光同创FPGA实现，只不过是精简版UDP，具备动态ARP、支持巨型帧、CRC32校验、占用逻辑资源很少等功能，但不具备ping功能；工程博客如下：
直接点击前往

紫光同创FPGA带ping功能UDP方案

该方案同样使用紫光同创FPGA实现，具备动态ARP、支持巨型帧、CRC32校验、占用逻辑资源很少等功能，具备ping功能；工程博客如下：
直接点击前往

3、设计思路框架

本文使用紫光同创的PGL22G-6MBG324 FPGA实现UDP协议栈络视频传输，该协议栈是精简版，采用纯verilog代码实现，具备动态ARP、支持巨型帧、CRC32校验、占用逻辑资源很少等功能，但不具备ping功能；FPGA采集外部摄像头数据，然后对视频数据进行组包封装，以适应QT上位机的接收要求，随后将组包的视频数据放入FIFO中做跨时钟和数据位宽转换，然后视频数据送入UDP协议栈进行UDP协议的网络数据包组包，最后通过YT8511和RTL8211做硬件PHY后通过RJ45网口的网线发送出去，电脑端打开上位机，即可接收并显示FPGA发过来的视频；
本设计提供4套Pango Design Suite 2021.4版本的工程源码；4套工程的区别在于输入摄像头是OV7725或者OV5640，使用网络PHY是YT8511或者RTL8211；4套工程详情如下：

//
|    PDS工程      输入视频     网络PHY  输入输出分辨率|
| 第一套PDS工程  OV7725摄像头  YT8511   640X480      |
| 第二套PDS工程  OV5640摄像头  YT8511   640X480      |
| 第三套PDS工程  OV7725摄像头  RTL8211  640X480      |
| 第四套PDS工程  OV5640摄像头  RTL8211  640X480      |
//

这里需要注意以下几点：
1：视频没有进行DDR的缓存，仅做FIFO级别的缓存，所以要求输入视频的像素时钟必须低于125M，因为GMII的时钟是125M，所高于125M，则会出现FIFO堵死的情况；
2：目前QT上位机只是个测试版本，支持支640X480分辨率的输入图像，所以输入视频必须是640X480，若不是，请缩放到此分辨率；
3：目前QT上位机只是个测试版本，不是很稳定，若有时闪退或者无图像，请多次关闭后重新打开，QT上位机只提供上位机可执行程序，不提供源码；
工程设计框图如下：

OV7725摄像头配置及采集

OV7725摄像头需要i2c配置才能使用，需要将DVP接口的视频数据采集为RGB565或者RGB888格式的视频数据，这两部分均用verilog代码模块实现，本设计配置为640X480分辨率；代码位置如下：

其中摄像头配置为分辨率640x480；
摄像头采集模块支持RGB565和RGB888格式的视频输出，可由参数配置，如下：

RGB_TYPE=0输出本RGB565格式；
RGB_TYPE=1输出本RGB888格式；
设计选择RGB888格式；

OV5640摄像头配置及采集

OV5640摄像头需要i2c配置才能使用，需要将DVP接口的视频数据采集为RGB565或者RGB888格式的视频数据，这两部分均用verilog代码模块实现，本设计配置为640X480分辨率；代码位置如下：

摄像头采集模块支持RGB565和RGB888格式的视频输出，可由参数配置，如下：

RGB_TYPE=0输出本RGB565格式；
RGB_TYPE=1输出本RGB888格式；
设计选择RGB888格式；

UDP发送控制

FPGA与PC上位机通信的协议为：
PC上位机首先向FPGA发送1个字节的数据包；
如果发送的是0x01,则表示通知FPGA可以开始发送视频数据给我了；
如果发送的是0x00,则表示通知FPGA立即停止发送视频数据给我；
所以UDP发送控制模块的作用就是根据接收到的PC上位机发来的指令，产生开始发送和停止发送信号；核心代码如下：

视频数据组包

FPGA收到单包数据0x01后，首先发送4个字节的视频分辨率信息给PC上位机；
高两个字节表示视频宽度；
低两个字节表示视频高度；
FPGA随后向PC上位机发送4字节的帧头，帧头被QT端写死为：0xf05aa50f；
FPGA再发送有效视频数据给PC上位机；
FPGA收到单包数据0x00后，停止向PC上位机发送数据；
FPGA实时等待单包数据0x01的到来，若收到，继续发送视频数据；
组包后的视频数据送入FIFO，等待UDP协议栈读取；
核心代码如下：

数据缓冲FIFO

数据缓冲FIFO实现两个功能，一是数据位宽转换，输入视频的16位转32位，二是时钟域转换，摄像头时钟为50M，UDP侧时钟为125M；

UDP协议栈详解

RGMII转GMII

RGMII转GMII模块是实现RGMII 与 GMII 的转换，提取出控制信号与数据信号，使用紫光同创FPGA的GTP_ISERDES和GTP_OSERDES原语实现；与 PHY 连接是 RGMII 接口。RGMII 接口是 GMII 接口的简化版，在时钟的上升沿及下降沿都采样数据，上升沿发送TXD[3:0]/RXD[3:0]，下降沿发送 TXD[7:4]/RXD[7:4]，TX_EN 传送 TX_EN（上升沿）和 TX_ER（下降沿）两种信息，RX_DV 传送 RX_DV（上升沿）和 RX_ER（下降沿）两种信息。RGMII转GMII模块设计框图如下：

RGMII转GMII模块在工程中如下：

这里的RX模块用到了一个PLL IP核，作用是将接收到的RX时钟相位偏移180°，与PHY延时模式相匹配；

动态ARP

动态ARP模块很简单，根据ARP协议进行拆包和组包即可，对于接收是拆包，即解析识别出UDP报文的前导码、SFD、以太网帧头和FCS，提取有效数据，对于发送是组包，对有效数据添加对应的包头，ARP报文格式如下：

动态ARP模块在工程中如下：

动态ARP模块由RX、TX和CRC32三个模块组成，其中TX用到了CRC32校验，RX则未做校验；

UDP协议

UDP协议模块很简单，根据UDP协议进行拆包和组包即可，对于接收是拆包，即解析识别出UDP报文的前导码、SFD、以太网帧头和FCS，提取有效数据，对于发送是组包，对有效数据添加对应的包头，UDP报文格式如下：

UDP协议模块在工程中如下：

UDP协议模块由RX、TX和CRC32三个模块组成，其中TX用到了CRC32校验，RX则未做校验；

IP地址、端口号修改

UDP协议栈留出了IP地址、端口号的修改端口供用户自由修改，通过顶层参数修改，位置如下：

QT上位机

1：目前QT上位机只是个测试版本，支持支640X480分辨率的输入图像，所以输入视频必须是640X480，若不是，请缩放到此分辨率；
2：目前QT上位机只是个测试版本，不是很稳定，若有时闪退或者无图像，请多次关闭后重新打开，QT上位机只提供上位机可执行程序，不提供源码；

4、PDS工程1：OV7725输入YT8511版本

开发板FPGA型号：紫光同创–PGL22G-6MBG324；
开发环境：Pango Design Suite 2021.4
输入：OV7725，分辨率为640X480；
输出：网口；
网络PHY：YT8511，延时模式；
工程作用：紫光同创FPGA实现UDP协议栈网络视频传输；
工程代码架构如下：

工程的资源消耗如下：

工程已经综合编译完成，如下：

5、PDS工程2：OV5640输入YT8511版本

开发板FPGA型号：紫光同创–PGL22G-6MBG324；
开发环境：Pango Design Suite 2021.4
输入：OV5640，分辨率为640X480；
输出：网口；
网络PHY：YT8511，延时模式；
工程作用：紫光同创FPGA实现UDP协议栈网络视频传输；
工程详情参考第4章节；

6、PDS工程3：OV7725输入RTL8211版本

开发板FPGA型号：紫光同创–PGL22G-6MBG324；
开发环境：Pango Design Suite 2021.4
输入：OV7725，分辨率为640X480；
输出：网口；
网络PHY：RTL8211，延时模式；
工程作用：紫光同创FPGA实现UDP协议栈网络视频传输；
工程详情参考第4章节；

7、PDS工程4：OV5640输入RTL8211版本

开发板FPGA型号：紫光同创–PGL22G-6MBG324；
开发环境：Pango Design Suite 2021.4
输入：OV5640，分辨率为640X480；
输出：网口；
网络PHY：RTL8211，延时模式；
工程作用：紫光同创FPGA实现UDP协议栈网络视频传输；
工程详情参考第4章节；

8、上板调试验证并演示

准备工作

连接开发板：

以PDS工程1–>YT8511版本工程为例进行上板调试；
修改本地电脑端IP地址为如下：

然后下载bit致开发板，即可开始测试；

动态ARP测试

打开CDM，做如下操作：

可以看到，PC已经识别并记录了FPGA网卡的ARP信息，并标记为动态；

图像接收显示测试

打开QT上位机，OV7725输入静态演示如下：

打开QT上位机，OV5640输入静态演示如下：
OV5640显示画质较差，这不是代码问题，而是我的OV5640摔坏了，画质本来据有问题，将就用。。。

打开QT上位机，OV7725输入动态演示如下：

紫光同创UDP-OV7725

9、福利：工程代码的获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：