当前位置: 首页 > news >正文

网络编程之XDP、TC和IO_URING以及DPDK

一、网络编程常见的技术

在前面已经分析过了XDP、TC和eBPF。也基本把三者间的关系理清了,但现在又有一个疑惑涌了上来。在前面提到过的IO_URING和DPDK与这些技术有什么关系呢?其实只要认真的看过分析文章可能大家心里都已经基本清楚了。
正如在前面不断提到的,网络编程不是简单的一个部分在努力,它是一个系统工程,从网卡到驱动,从驱动到内核的协议栈再到上层的应用。它是一整套完整的流程,在这个流程上,就如学计算机知识的都明白的木桶原理,只要有一个不够给力,那么其它人的努力可能就大为减弱甚至是失效。
明白了上述的说明,基本也就弄明白了几者之间的关系。

二、技术间的关系

仍然按照传统的用户层、内核和驱动(硬件NIC)三层来说明几者的关系:
1、IO_URING是一个异步编程框架,可以认为是提供给应用层使用的一个网络编程框架,一如开发经常使用epoll,select,poll等。它更多的是向上层提供一套更高效的网络通信接口。
2、DPDK:DPDK属于用户层程序可以直接处理网络数据的一种框架,它可以略过大多数的和内核交互的过程。DPDK的优秀之处已经在应用中体现出来,但是DPDK的不足也同样暴露了出来,
3、XDP、TC(eBPF)则可以认为是与DPDK不同的另外一种方案,DPDK是尽量减少和内核的交互,直接连接用户层和网络数据(驱动或网卡),而XDP等则在仍然与内核保持较强的联系
可以简单理解为,IO_URING是为应用层服务的。后两者是在内核层次上的一次优化。虽然DPDK也实现了用户层的网络数据处理,但从数据处理的方式来看,仍然可以将其划到内核逻辑中去。而XDP等则可以看作内核对DPDK一种快速的应变。
下面是三者的关系图:

在这里插入图片描述

三、应用分析

针对这三类技术,做一下整体的技术应用分析:
1、IO_URING:
做存储起家的异步框架,主要是解决IO与CPU、内存的不匹配出现的。应用在网络编程上,再自然不过。它解决的主要痛点就是在上层应用中支持C100K、C1000K甚至更多。通过对内核的交互大幅减少相关的内存拷贝和通信次数。略过一些不必要的过程,同时对外暴露接口,让用户层感受不到内核的复杂。
目前在Java的Netty 中已经封装了IO_URING的应用,不过据说并没有发挥出其最大效用,有兴趣可以用一下。其它的有名气的应用案例目前还没看到。

2、DPDK
DPDK这个就不用细讲了,在前面已经分析了几十篇,它既可以在上层写传统的SOCKET编程,也可以做为网络监控等的手段。基本上大公司都有基于此框架的应用,开源的更是多,可以去Github上搜索一下就明白了。

3、eBPF(XDP、TC)
XDP之类的应用本身就集成在内核中,再加上eBPF的大力支持,它的应用更多。国内诸如腾讯、阿里等大互联网公司都有相关的应用如蓝鲸;中国移动的磐基,其它开源的也有很多,比如反复提到的Cilium。
不用想,它的应用前景非常被看好,除了各个大公司的支持外,最重要的它是在内核中,免费啊。

在《High-Performance Networking Using eBPF, XDP, and io_uring》,提出了使用IO_URING和XDP以及eBPF一起来实现一个高性能的网络,也就是说,这些技术间其实是互相配合,共同合作为主的。当然,DPDK可能有一点小小小的冲突,这就看大家的实际场景中到底想怎么做了。不过一个普遍比较被大家接受的观点,DPDK还是有一些复杂。

四、总结

学习理论知识十分的枯燥,特别对工作后的人,不论是从记忆力还是注意力,已经从单纯的学习转向了为了生活而打拼。此时对一些理论性的东西往往感到没有什么意义。但还是需要强调的是,计算机技术是一门非常强的理论和实践高度结合的技术学科。理论和实践缺一不可,新技术的突破往往是开发应用瓶颈的突破口,不需要到处再打补丁;同样,丰富的实践场景可以推动技术的完善和创新。
思维不要僵化,要与时俱进。

相关文章:

网络编程之XDP、TC和IO_URING以及DPDK

一、网络编程常见的技术 在前面已经分析过了XDP、TC和eBPF。也基本把三者间的关系理清了,但现在又有一个疑惑涌了上来。在前面提到过的IO_URING和DPDK与这些技术有什么关系呢?其实只要认真的看过分析文章可能大家心里都已经基本清楚了。 正如在前面不断…...

晶谷高温烧结导电浆料用低熔点玻璃粉 晶谷耐高温导电漆导电油墨高温玻璃粉

晶谷浆料玻璃粉是一种用于电子浆料的材料,它在电子浆料中起到粘结和降低烧结温度的作用,能够提高浆料与基材之间的结合力。 浆料玻璃粉的性能特点包括: - 软化点:软化点在350至650度之间。 - 热膨胀系数:热膨胀系数…...

【Mysql】DQL操作单表、创建数据库、排序、聚合函数、分组、limit关键字

DQL操作单表 1.1 创建数据库 •创建一个新的数据库 db2 CREATE DATABASE db2 CHARACTER SET utf8;•将db1数据库中的 emp表 复制到当前 db2数据库 ** 1.2 排序** 通过 ORDER BY 子句,可以将查询出的结果进行排序 (排序只是显示效果,不会影响真实数据) 语法结构:…...

Excel 常用技巧(四)

Microsoft Excel 是微软为 Windows、macOS、Android 和 iOS 开发的电子表格软件,可以用来制作电子表格、完成许多复杂的数据运算,进行数据的分析和预测,并且具有强大的制作图表的功能。由于 Excel 具有十分友好的人机界面和强大的计算功能&am…...

【Linux 基础】文件与目录管理

1. 文件和目录的基本概念 文件:是数据的集合,可以是文本、图像、视频等。 目录(也称为文件夹):是文件和子目录的集合,用于组织文件。 2. 目录和路径 绝对路径:从根目录(/&#x…...

C++系列-String(一)

🌈个人主页:羽晨同学 💫个人格言:“成为自己未来的主人~” string是用于字符串,可以增删改查 首先,我们来看一下string的底层 接下来,我们来看一下string的常用接口有哪些: #define _CRT_S…...

服务器硬件的基础知识

引言 服务器是现代数据中心和企业IT基础设施的核心组成部分。了解服务器硬件的基本知识不仅有助于选择和维护服务器,还能提高系统性能和可靠性。本文将详细介绍服务器硬件的各个方面,包括处理器、内存、存储、网络、散热和电源等,帮助读者全…...

java基于ssm+jsp 汽车在线销售系统

1 前台功能模块 网站首页 网页首页汽车在线销售系统模块如下:首页、汽车信息、新闻资讯、留言反馈、我的收藏管理等功能图1 图1网页首页 网页前台车辆信息效果图如图2所示 图2 车辆信息界面图 2 管理员功能模块 管理员输入个人的账号、密码登录系统&#xff0c…...

【干货】Android中高级开发进阶必备资料(附:PDF+视频+源码笔记)

4、数据传输与序列化 5、Java虚拟机原理 6、高效IO 设计思想解读开源框架 随着互联网企业的不断发展,产品项目中的模块越来越多,用户体验要求也越来越高,想实现小步快跑、快速迭代的目的越来越难,插件化技术应用而生。如果没有…...

AI通用写作模版,可以在此基础上进行修改

指令 角色 作者 :你是一位自媒体爆文写作专家,负责撰写文章,具备对特定主题的深入理解和一定的写作技巧。读者 :25-55岁通用人群,对资讯新闻类感兴趣,需要易于理解且富有启发性的内容。 技能 研究能力&…...

openEuler2203SP3自定义ios

需求: 1、legacy启动 2、/boot分区1G,剩余给/,lvm分区 3、创建root密码和一个普通用户user,密码Hello2024 4、服务器安装(选上development、legacy-unix、security-tools) 5、关闭firewalld、selinux …...

一年又一年志愿

--第一篇 20220624十年苦读,青春飞扬,其道大光,来日方长。又是一年高考时,高考改变命运,但是后面还有更关键几步,跟大家一起聊聊。之前写我考状元的经历,堂弟考省前十的经历,有不少…...

NL2SQL进阶系列(1):DB-GPT-Hub、SQLcoder、Text2SQL开源应用实践详解

1. MindSQL(库) MindSQL 是一个 Python RAG(检索增强生成)库,旨在仅使用几行代码来简化用户与其数据库之间的交互。 MindSQL 与 PostgreSQL、MySQL、SQLite 等知名数据库无缝集成,还通过扩展核心类,将其功能扩展到 Sn…...

OpenGL3.3_C++_Windows(15)

理解glad: OpenGL只是一个标准/规范,具体的实现是由驱动开发商针对特定显卡实现的,由于OpenGL驱动版本众多,它大多数函数的位置都无法在编译时确定下来,需要在运行时查询,因此开发者需要在运行时获取函数…...

出海计划 | 赴马来西亚开展水环境项目考察暨2024中马水务合作论坛

报名咨询...

NeRF从入门到放弃5: Neurad代码实现细节

Talk is cheap, show me the code。 CNN Decoder 如patch设置为32x32,patch_scale设置为3,则先在原图上采样96x96大小的像素块,然后每隔三个取一个像素,降采样成32x32的块。 用这32x32个像素render feature,再经过CNN反卷积预测…...

【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【11】ElasticSearch

持续学习&持续更新中… 守破离 【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【11】ElasticSearch 简介基本概念ElasticSearch概念-倒排索引安装基本命令Mapping-映射ElasticSearch7-去掉type概念Es-数组(数组装着Object)的扁平化处理ik 分词…...

Pip换源详解

Pip换源是指将pip(Python的包管理工具)的默认源更改为其他源。以下是关于Pip换源的详细说明: 一、Pip换源的原因 访问被阻止的源:在某些地区或网络环境下,直接访问官方的Python Package Index (PyPI) 可能受到限制或…...

【Docker】——安装镜像和创建容器,详解镜像和Dockerfile

前言 在此记录一下docker的镜像和容器的相关注意事项 前提条件:已安装Docker、显卡驱动等基础配置 1. 安装镜像 网上有太多的教程,但是都没说如何下载官方的镜像,在这里记录一下,使用docker安装官方的镜像 Docker Hub的官方链…...

利用LinkedHashMap实现一个LRU缓存

一、什么是 LRU LRU是 Least Recently Used 的缩写,即最近最少使用,是一种常用的页面置换算法,选择最近最久未使用的页面予以淘汰。 简单的说就是,对于一组数据,例如:int[] a {1,2,3,4,5,6},…...

git-pull详解

NAME git-pull - Fetch from and integrate with another repository or a local branch SYNOPSIS git pull [<options>] [<repository> [<refspec>…​]] DESCRIPTION Incorporates changes from a remote repository into the current branch. If the…...

【SQL】count(1)、count(*) 与 count(列名) 的区别

在 SQL 中&#xff0c;COUNT 函数用于计算查询结果集中的行数。COUNT(1)、COUNT(*) 和 COUNT(列名) 都可以用来统计行数&#xff0c;但它们在实现细节和使用场景上有一些区别。以下是详细的解释&#xff1a; 1. COUNT(1) 定义: COUNT(1) 计算查询结果集中的行数。实现: 在执行…...

03-ES6新语法

1. ES6 函数 1.1 函数参数的扩展 1.1.1 默认参数 function fun(name,age17){console.log(name","age); } fn("张美丽",18); // "张美丽",18 fn("张美丽",""); // "张美丽" fn("张美丽"); // &…...

Linux中的文本编辑器vi与vim

摘要&#xff1a; 本文将深入探讨VI和VIM编辑器的基本概念、特点、使用方法以及它们在Linux环境中的重要性。通过对这两款强大的文本编辑器的详细分析&#xff0c;读者将能够更全面地理解它们的功能&#xff0c;并掌握如何有效地使用它们进行日常的文本编辑和处理任务。 引言&…...

MATLAB基础应用精讲-【数模应用】三因素方差(附R语言、MATLAB和python代码实现)

目录 几个高频面试题目 群体分布是否服从高斯分布? 数据是否不匹配? “误差”是否独立存在? 您是否真的想比较平均值? 是否存在三项因素? 这三项因素是否均属于“固定因素”,而非“随机因素”? 算法原理 EXCEL spss三因素方差分析步骤 一、spss三因素…...

Linux ubuntu安装pl2303USB转串口驱动

文章目录 1.绿联PL2303串口驱动下载2.驱动安装3.验证方法 1.绿联PL2303串口驱动下载 下载地址&#xff1a;https://www.lulian.cn/download/16-cn.html 也可以直接通过CSDN下载&#xff1a;https://download.csdn.net/download/Axugo/89447539 2.驱动安装 下载后解压找到Lin…...

关于使用命令行打开wps word文件

前言 在学习python-docx时&#xff0c;想在完成运行时使用命令行打开生成的docx文件。 总结 在经过尝试后&#xff0c;得出以下代码&#xff1a; commandrstart "C:\Users\86136\AppData\Local\Kingsoft\WPS Office\12.1.0.16929\office6\wps.exe" "./result…...

将Vite添加到您现有的Web应用程序

Vite&#xff08;发音为“veet”&#xff09;是一个新的JavaScript绑定器。它包括电池&#xff0c;几乎不需要任何配置即可使用&#xff0c;并包括大量配置选项。哦——而且速度很快。速度快得令人难以置信。 本文将介绍将现有项目转换为Vite的过程。我们将介绍别名、填充webp…...

Apache Kafka与Spring整合应用详解

引言 Apache Kafka是一种高吞吐量的分布式消息系统&#xff0c;广泛应用于实时数据处理、日志聚合和事件驱动架构中。Spring作为Java开发的主流框架&#xff0c;通过Spring Kafka项目提供了对Kafka的集成支持。本文将深入探讨如何使用Spring Kafka整合Apache Kafka&#xff0c…...

SpringBoot配置第三方专业缓存技术Redis

Redis缓存技术 Redis&#xff08;Remote Dictionary Server&#xff09;是一个开源的内存中数据结构存储系统&#xff0c;通常用作数据库、缓存和消息中间件。它支持多种数据结构&#xff0c;如字符串、哈希表、列表、集合、有序集合等&#xff0c;并提供了丰富的功能和灵活的…...

金融直播室网站建设/网络推广产品公司

前言 腾讯手机游戏在登录时会使用QQ或微信授权登录&#xff0c;此时可配置权限&#xff0c;包含游戏账号信息、游戏好友关系等。那么如何对腾讯游戏进行权限管理呢&#xff0c;有如下2种方法&#xff0c;分别为登录授权时配置和进入设置配置。 登录授权时配置 QQ 在QQ授权登…...

去黄山旅游攻略和费用是多少/seo网站怎么搭建

仅作为记录&#xff0c;大佬请跳过。 直接上代码&#xff1a; # import os import globpath "/Data4T/unet/data/cdata_HER2_invade/auto_val/val/test_0"paths glob.glob(os.path.join(path, *.png))# 输出所有文件和文件夹 for file in paths:print(file)os.re…...

广东app开发公司排行榜/排名优化软件点击

PyInstaller的原理简介PyInstaller其实就是把python解析器和你自己的脚本打包成一个可执行的文件&#xff0c;和编译成真正的机器码完全是两回事&#xff0c;所以千万不要指望成打包成一个可执行文件会提高运行效率&#xff0c;相反可能会降低运行效率&#xff0c;好处就是在运…...

个人如何做问答类网站/在线种子资源库

分治6--循环比赛日程表 一、心得 递推方程式想清楚 二、题目及分析 问题描述&#xff1a; 设有n2^k个运动员要进行网球循环赛。现要设计一个满足以下要求的比赛日程表&#xff1a; (1)每个选手必须与其他n-1个选手各赛一次&#xff1b; (2)每个选手一天只能参赛一次&#x…...

做网站买什么香港服务器/友情网站

可能很多人都遇到过这个问题&#xff0c;当配置ISA防火墙&#xff08;ISA Server 2004&#xff09;的Web代理使用集成身份验证时&#xff0c;如果当前登录的用户没能通过验证&#xff0c;那么ISA防火墙就会直接拒绝用户的访问&#xff0c;而不是和ISA Server 2000中一样弹出窗口…...

网站正在建设中 文案/长沙营销网站建设

函数初识 1.函数的好处 减少代码重复性(冗余)代码可读性高将功能进行封装(造工具)2.定义函数 def func():函数体def 关键字 --定义 func 函数名 --和变量定义规则一样 () --传递参数,必须要写的格式 : --声明语句结束 3.调用函数 def my_len():s (1,2,3,…...