当前位置： 首页 > news >正文

Redis网络模型

news 文章来源：https://blog.csdn.net/weixin_51971817/article/details/132649432 2025/4/20 8:49:24

目录

Redis网络模型

用户空间和内核态空间

阻塞IO(BIO)

非阻塞IO(NIO)

IO多路复用

信号驱动IO

异步IO(AIO)

Redis到底是单线程还是多线程？

为什么要使用单线程？

Redis网络模型

进程的寻址空间会划分为两部分：内核空间、用户空间

用户空间和内核态空间

用户空间只能执行受限的命令(Ring3),而且不能直接调用系统资源,必须通过内核提供的接口来访问

内核空间可以执行特权命令(Ring0),调用一切系统资源

Linux系统为了提高IO效率,会在用户空间和内核空间都加入缓冲区：

  • 写数据时,要把用户缓冲区数据拷贝到内核缓冲区,然后写入设备

  • 读数据时,要从设备读取数据到内核缓冲区,然后拷贝到用户缓冲区

阻塞IO(BIO)

用户空间和内核空间的交互：

阻塞IO具体流程：

  • 用户去读取数据时,会先发recvfrom命令,尝试从内核态加载数据

  • 如果内核态没有数据,那么用户就要等待

  • 此时内核会从硬件上读取数据

  • 内核读取数据后,会把数据拷贝到用户态.返回ok

以上整个过程都是阻塞等待,这就是阻塞IO

总结：

阻塞IO就是两个阶段都必须阻塞等待

阶段一：

  • 用户进程尝试读取数据（比如网卡数据）

  • 此时数据尚未到达，内核需要等待数据

  • 此时用户进程也处于阻塞状态

阶段二：

  • 数据到达并拷贝到内核缓冲区，代表已就绪

  • 将内核数据拷贝到用户缓冲区

  • 拷贝过程中，用户进程依然阻塞等待

  • 拷贝完成，用户进程解除阻塞，处理数据

非阻塞IO(NIO)

非阻塞IO的recvfrom操作会立即返回结果而不是阻塞用户进程

阶段一：

  • 用户进程尝试读取数据（比如网卡数据）

  • 此时数据尚未到达，内核需要等待数据

  • 返回异常给用户进程

  • 用户进程拿到error后，再次尝试读取

  • 循环往复，直到数据就绪

阶段二：

  • 将内核数据拷贝到用户缓冲区

  • 拷贝过程中，用户进程依然阻塞等待

  • 拷贝完成，用户进程解除阻塞，处理数据

  • 可以看到，非阻塞IO模型中，用户进程在第一个阶段是非阻塞，第二个阶段是阻塞状态。虽然是非阻塞，但性能并没有得到提高。而且忙等机制会导致CPU空转，CPU使用率暴增。

IO多路复用

无论是阻塞IO还是非阻塞IO,用户应用在一阶段都需要调用recvfrom来获取数据,差别在于无数据时的处理方案：

  • 如果调用recvfrom时,恰好没数据,阻塞IO会使进程阻塞,非阻塞IO会使CPU空转,都不能充分发挥CPU作用

  • 如果调用recvfrom时，恰好有数据，则用户进程可以直接进入第二阶段，读取并处理数据

这就像服务员给顾客点餐,分两步：

  1. 顾客思考吃什么(等待数据就绪)

  2. 顾客想好了,开始点餐(读取数据)

提高效率的方法：

  • 增加多线程(但是也不是最好的方案)

  • 不排队,谁想好了吃什么(数据就绪),服务员就给谁点餐(用户应用就去读取数据)

问题：用户进程如何知道内核中数据是否就绪呢？

文件描述符(File Descriptor)：简称FD,是一个从0开始递增的无符号整数,用来关联Linux中的一个文件,Linux中,一切皆文件

IO多路复用：单个线程同时监听多个FD,并在某个FD可读,可写时得到通知,从而避免无效的等待,充分利用CPU资源

监听FD的方式、通知方式有多种实现：

  • select

  • poll

  • epoll

差异：

  • select和poll只会通知用户进程有FD就绪,但是不确定是哪一个,用户需要逐个遍历FD

  • epoll则会通知用户进程FD就绪的同时,把已经就绪的FD写入用户空间

信号驱动IO

是与内核建立SIGIO的信号关联并设置回调,当内核有FD就绪时,就会发出SIGIO信号通知用户,期间用户应用就可以执行其他业务,无需阻塞等待.

问题：

当有大量IO操作时,信号较多,SIGIO处理函数不及时导致信号队列溢出.

异步IO(AIO)

整个过程是非阻塞的,用户进程调用完异步API后就可以去做其他事情,内核等待数据就绪并拷贝到用户空间后才会递交信号,通知用户进程

需要控制并发,否则高并发下可能会崩溃

Redis到底是单线程还是多线程？

  • 如果仅仅聊Redis核心业务部分(命令处理),是单线程

  • 如果聊整个Redis,那就是多线程

Redis v4.0：引入多线程异步处理一些耗时较长的任务,例如异步删除命令unlink

Redis v6.0：在核心网络模型引入多线程,进一步提高多核CPU利用率

为什么要使用单线程？

  • Redis是纯内存操作,执行速度非常快,它的性能瓶颈是网络延迟而不是执行速度,因此多线程带来不了多大提升

  • 多线程会导致过多的上下文切换,带来不必要的开销

  • 引入多线程会有线程安全问题,必然要引入锁,性能也就会降低

相关文章：

Redis网络模型

目录 Redis网络模型 用户空间和内核态空间 阻塞IO(BIO) 非阻塞IO(NIO) IO多路复用 信号驱动IO 异步IO(AIO) Redis到底是单线程还是多线程？ 为什么要使用单线程？ Redis网络模型 进程的寻址空间会划分为两部分：内核空间、用户空间 用…...

编程日记 2023/9/4 17:34:45

Super Resolve Dynamic Scene from Continuous Spike Streams论文笔记

摘要 近期，脉冲相机在记录高动态场景中展示了其优越的潜力。不像传统相机将一个曝光时间内的视觉信息进行压缩成像，脉冲相机连续地输出二的脉冲流来记录动态场景，因此拥有极高的时间分辨率。而现有的脉冲相机重建方法主要集中在重建和脉冲相…...

编程日记 2023/9/4 17:33:45

操作视频的开始与暂停

调用 ref.current.play() 方法来播放视频； 如果视频需要暂停，我们调用 ref.current.pause() 方法来暂停视频。 通过 useRef 创建的 ref 操作视频的开始与暂停 当用户点击按钮时，根据当前视频的状态，我们会开始或暂停视频&…...

编程日记 2023/9/4 17:32:43

使用Docker配置深度学习的运行环境

文章目录 推荐实验环境前言docker安装docker操作docker配置常见方法（安装包、联网、程序管理器）安装驱动的前提要求传统方法安装驱动程序程序管理器安装联网安装deb包安装 安装完成后的设置非传统方法安装-通过容器安装驱动的前提要求安装NVIDIA-Contain…...

编程日记 2023/9/4 17:31:42

三相PMSM的坐标变换

三相PMSM的坐标变换 三相PMSM的数学模型具有复杂性和耦合性的多变量系统。因此需要对其进行降阶和解耦变换。 Vα，Vb，Vc是自然坐标系。 Vα，Vβ是静止坐标系。 Vd，Vq是同步旋转坐标系。 自然坐标系 三相永磁同步电机的驱动电路…...

编程日记 2023/9/4 17:30:40

8.（Python数模）（预测模型一）马尔科夫链预测

Python实现马尔科夫链预测 马尔科夫链原理 马尔科夫链是一种进行预测的方法，常用于系统未来时刻情况只和现在有关，而与过去无关。 用下面这个例子来讲述马尔科夫链。 如何预测下一时刻计算机发生故障的概率？ 当前状态只存在0（故…...

编程日记 2023/9/4 17:29:39

Leetcode1006笨阶乘

思路：以4为一个分组分别进行处理 class Solution:def clumsy(self, n: int) -> int:answer_dict {0:0,1: 1, 2: 2, 3: 6, 4: 7}if n > 4:answer n * (n - 1) // (n - 2) n - 3n - 4else:print(answer_dict[n])return answer_dict[n]print(answer)while n …...

编程日记 2023/9/4 17:28:38

阻塞非阻塞IO（BIO和NIO），IO多路复用

1.概念 NIO（New Input/Output）和BIO（Blocking Input/Output）是Java中用于处理输入输出的两种不同的模型。 BIO 会阻塞，等有了消息，立刻返回，一个线程处理一个recv（需要很多线程&…...

编程日记 2023/9/4 17:27:37

HTTP协议初识·中篇

加上目录，会出现导向不正确的情况，可能是bug，目录一长就容易出错？ 本篇主要讲解了： 网页分离(网页代码和.c文件分离) html链接跳转 网页添加图片 确认并返回资源类型 填写正文长度属性 添加表单 临时重定向 补充知识&a…...

编程日记 2023/9/4 17:26:36

数学建模：拟合算法

🔆 文章首发于我的个人博客：欢迎大佬们来逛逛 数学建模：拟合算法 文章目录 数学建模：拟合算法拟合算法多项式拟合非线性拟合cftool工具箱的使用 拟合算法 根据1到12点间的温度数据求出温度与时间之间的近似函数关系 F ( t ) F(…...

编程日记 2023/9/4 17:25:35

计算机网络-笔记-汇总

目录 📚 前言 🌸章节汇总 🚀 学习心得 ⌛2023年8月31日 星期四 📚 前言 在学习了【操作系统】、【计算机组成原理】之后 再来学习【计算机网络】，对计算机之间如何通信，有了一个大致的认识。 可以想象…...

编程日记 2023/9/4 17:24:34

STM32定时器定时及其应用

STM32定时器定时及其应用 定时器概述☆定时器相关配置CubeMX工程配置及程序实现固件库程序设计及实现 定时器概述 1. 工作原理 使用精准的时基，通过硬件的方式，实现定时功能。定时器核心就是计数器 2. 定时器分类 　　基本定时器（TIM6~TIM7…...

编程日记 2023/9/4 17:23:33

(牛客) 游游的字符重排（next_permutation的使用）

题目描述 游游定义一个字符串是“好串”，当且仅当该字符串相邻的字符不相等。例如"arcaea"是好串，而"food"不是好串。 游游拿到了一个字符串，她可以将该字符串的各个字符顺序随意打乱。她想知道一共可以生产多少种不同的…...

编程日记 2023/9/4 17:22:32

RTPEngine 通过 HTTP 获取指标的方式

文章目录 1.背景介绍2.RTPEngine 支持的 HTTP 请求3.通过 HTTP 请求获取指标的方法3.1 脚本配置3.2 请求方式 1.背景介绍 RTPEngine 是常用的媒体代理服务器，通常被集成到 SIP 代理服务器中以减小代理服务器媒体传输的压力，其架构如下图所示。这种使用方…...

编程日记 2023/9/4 17:21:32

聚鑫数藏平台——引领数字资产管理新风向

随着数字经济的飞速发展，新金融生态应运而生。区块链技术的崭新突破，使数字资产的重要性日益凸显，为投资者带来了前所未有的机遇和挑战。在此背景下，聚鑫数藏平台横空出世，引领着数字资产管理的新风向。 聚鑫数藏平台&…...

编程日记 2023/9/4 17:19:29

web3j solidity 转java

需要使用的环境 web3j，nodejs 安装编译sol工具 1 $ npm install -g solc 保存为hello.sol文件到本地 1 2 3 4 5 6 7 8 pragma solidity 0.4.19; contract hello { function main(uint a) constant returns (uint b) { uint result a * 8; …...

编程日记 2023/9/4 17:18:27

uniapp项目实战系列(3)：底部导航栏与头部导航栏的配置

目录 系列往期文章（点击跳转）uniapp项目实战系列(1)：导入数据库，启动后端服务，开启代码托管（点击跳转）uniapp项目实战系列(2)：新建项目，项目搭建，微信开发工具…...

编程日记 2023/9/4 17:17:26

Jwt工具类

导入依赖 <dependency><groupId>io.jsonwebtoken</groupId><artifactId>jjwt</artifactId><version>0.9.1</version> </dependency> <dependency><groupId>javax.xml.bind</groupId><artifactId>jax…...

编程日记 2023/9/4 17:16:25

计算机网络-笔记-第五章-运输层

&#x1f338;章节汇总 一、第一章——计算机网络概述 二、第二章——物理层 三、第三章——数据链路层 四、第四章——网络层 五、第五章——运输层 六、第六章——应用层 目录 五、第五章——运输层 1、运输层概述 2、运输层端口号、复用、分用 &#xff08;1&#xff0…...

编程日记 2023/9/4 17:15:24

java-参数传递机制

java参数传递机制都是值传递。 基本类型参数传输都是数据值。 传递到方法中的值是拷贝后的值。 引用类型参数传输的都是地址值。 如果是数组的参数传递&#xff0c;那么是引用传递&#xff08;本质上还是值传递&#xff0c;但是由于数组的值传递是传递数组的内存地址&#xf…...

编程日记 2023/9/4 17:14:23

Python编程练习与解答 练习96：字符串是否表示整数

本练习将编写一个名为isInteger的函数&#xff0c;用于确定字符串中的字符是否代表有效整数&#xff0c;确定字符串是否表示整数时&#xff0c;则应忽略开通要或者结尾的任何空白。一旦这个空白被忽略&#xff0c;如果字符串的长度至少是1&#xff0c;且只包含数字&#xff0c;…...

编程日记 2023/9/4 17:13:22

Scala的特质trait与java的interface接口的区别，以及Scala特质的自身类型和依赖注入

1. Scala的特质trait与java接口的区别 Scala中的特质&#xff08;trait&#xff09;和Java中的接口&#xff08;interface&#xff09;在概念和使用上有一些区别&#xff1a; 默认实现&#xff1a;在Java中&#xff0c;接口只能定义方法的签名&#xff0c;而没有默认实现。而在…...

编程日记 2023/9/4 17:12:19

检查js中的字符串是否可以成为回文

探索 JavaScript 中的字符串操作领域揭示了一个令人着迷的挑战&#xff1a;确定给定的字符串是否可以转换为回文。回文&#xff0c;即正反读相同的单词或短语&#xff0c;具有固有的吸引力&#xff0c;并激发了寻求揭开其神秘属性的开发人员的好奇心。在本文中&#xff0c;我们…...

编程日记 2023/9/4 17:11:18

时序预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络时间序列预测（风电功率预测）

时序预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络时间序列预测&#xff08;风电功率预测&#xff09; 目录 时序预测 | MATLAB实现CNN-LSTM卷积长短期记忆神经网络时间序列预测&#xff08;风电功率预测&#xff09;预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1…...

编程日记 2023/9/4 17:10:16

WebSocket--技术文档--基本概念--《快速了解WebSocket协议》

阿丹&#xff1a; 不断学习新技术&#xff0c;丰富自己了解更多才能扩展更多世界可能。 官网 WebSocket首页、文档和下载 - HTML5开发相关 - OSCHINA - 中文开源技术交流社区 软件简介 WebSocket 是 HTML5 开始提供的一种浏览器与服务器间进行全双工通讯的网络技术。 WebS…...

编程日记 2023/9/4 17:09:15

flutter报错-cmdline-tools component is missing

安装完androidsdk和android studio后&#xff0c;打开控制台&#xff0c;出现错误 解决办法 找到自己安装android sdk的位置&#xff0c;然后安装上&#xff0c;并将下面的勾选上 再次运行 flutter doctor 不报错&#xff0c;出现以下画面 Doctor summary (to see all det…...

编程日记 2023/9/4 17:08:14

torch.bmm功能解读

bmm 是 batched matrix multiple 的简写&#xff0c;即批量矩阵乘法&#xff0c;矩阵是二维的&#xff0c;加上batch一个维度&#xff0c;因此该函数的输入必须是两个三维的 tensor&#xff0c;三个维度代表的含义分别是&#xff1a;&#xff08;批量&#xff0c;行&#xff0c…...

编程日记 2023/9/4 17:07:13

如何使用Puppeteer进行金融数据抓取和预测

导语 Puppeteer是一个基于Node.js的库&#xff0c;可以用来控制Chrome或Chromium浏览器&#xff0c;实现网页操作、截图、PDF生成等功能。本文将介绍如何使用Puppeteer进行金融数据抓取和预测&#xff0c;以及如何使用亿牛云爬虫代理提高爬虫效果。 概述 金融数据抓取是指从…...

编程日记 2023/9/4 17:06:12

Linux下 Socket服务器和客户端文件互传

目录 1.项目描述 2.函数准备 2.1 gets函数 2.2 popen函数、fread函数 2.3 access 函数 2.4 exit 函数 2.5 strtok 函数 2.6 chdir函数 3.项目代码 3.1服务器代码 3.2客户端代码 4.问题总结 1.项目描述 基于Soket聊天服务器&#xff0c;实现服务器和客户端的文件传输。…...

编程日记 2023/9/4 17:05:09

Nginx详解 第五部分：Ngnix反向代理（负载均衡 动静分离 缓存 透传 ）

Part 5 一、正向代理与反向代理1.1 正向代理简介1.2 反向代理简介 二、配置反向代理2.1 反向代理配置参数2.1.1 proxy_pass2.1.2 其余参数 2.2 配置实例:反向代理单台web服务器2.3 代理转发 三、反向代理实现动静分离四、缓存功能五、反向代理客户端的IP透传5.1 原理概述5.2 一…...

编程日记 2023/9/4 17:04:08