当前位置: 首页 > news >正文

Redis学习[5] ——Redis过期删除和内存淘汰

六、Redis过期键值删除

6.1 Redis的过期键值删除策略

6.1.1 什么是过期键值删除?

Redis中是可以对key设置过期时间的,所以需要有相应的机制将已过期的键值对删除,也就是**过期键值删除策略。Redis会用一个过期字典(expires dict)**来存储有过期时间的所有key。当查询一个key时,Redis会首先会检查这个key是否存在于过期字典中:

  • 不存在,则正常读取键值;
  • 存在,那需要首先获取这个key的过期时间,如果已经过期,则不会获得值;

至于具体去删除这个过期的key,Redis采用了「惰性删除+定期删除」两种策略配合使用。

6.1.2 什么是惰性删除策略?

惰性删除策略:不主动删除过期键,每当从数据库访问key时,如果检测到这个key过期了,则删除这个key。

优点:只有在访问时才会检测,消耗很少的系统资源,对CPU时间友好

缺点:如果一个过期的key一直没有被访问,那么会始终最早数据库内,造成内存空间浪费,对内存不友好

6.1.3 什么是定期删除策略?

定期删除策略:每隔一段时间**「随机」从过期字典中取出一定数量的 key 进行检查,并删除其中的过期key。**

具体流程

  1. 从过期字典中随机选取20个key;
  2. 检查这20个key是否过期,删除已过期的key;
  3. 如果本轮检查的「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续重复步骤 1;否则,停止本次删除流程。

可以看到,定期删除是一个循环的流程。那 Redis 为了保证定期删除不会出现循环过度,导致线程卡死现象,为此增加了定期删除循环流程的时间上限,默认不会超过 25ms。

优点:可以限制删除执行的时长和频率,能够同时减少对CPU的影响和减少空间占用;

缺点:难以确定删除操作执行的时长和频率,执行的太频繁对CPU不友好,执行的太少对内存不友好。

可以看到,惰性删除策略和定期删除策略都有各自的优点,所以 Redis 选择「惰性删除+定期删除」这两种策略配和使用,以求在合理使用 CPU 时间和避免内存浪费之间取得平衡。

6.2 Redis持久化时,对过期键是如何处理的?

6.2.1 AOF日志
  • AOF写入阶段:当Redis以AOF模式持久化时,如果数据库内某个键值过期还没有删除,AOF仍然会保留此键值,等过期键值被删除后,Redis会向AOF文件追加一条DEL命令来显式地删除该键值
  • AOF重写阶段:Redis执行AOF重写时,会对键值进行检查,过期的键值不再写入重写后的AOF文件中
6.2.2 RDB快照
  • RDB文件生成阶段:将内存中的数据持久化为RDB文件时,会对key进行过期检查,过期的键值不会保存到RDB文件中

  • RDB文件加载阶段:RDB加载阶段,需要看服务器是主服务器还是从服务器

    • 主服务器:在载入 RDB 文件时,会对文件中保存的key进行检查,过期键「不会」被载入到数据库中。
    • 从服务器不进行过期检查,不论key是否过期,键值都会被载入到数据库中。

    因为从服务器每次通过RDB数据同步时,从服务器都清空本身的所有数据,安装RDB文件的,所以下次就会删掉了,可以不用单独消耗时间来检查。

6.3 Redis主从模式中,对过期键是如何处理的?

Redis运行在主从模式下时,从服务器不会主动去处理过期键。即使从库中的 key 过期了,如果有客户端访问从库时,依然可以得到 key 对应的值,像未过期的键值对一样返回。

从服务器对过期键的处理依赖于主服务器,当主服务器删除某个过期键时,在AOF文件中增加一条命令。同步到所有的从服务器中,从服务器执行相应的命令来删除过期键值。

七、Redis内存淘汰

7.1 Redis运行在内存中,若Redis的内存满了,会发生什么?

Redis的运行内存如果达到了某个阈值,会触发**内存淘汰机制**,这个内存就是用户设置的最大运行内存。Redis提供了多种内存淘汰策略,根据不同的策略来将部分内进行淘汰。

7.2 Redis有哪些内存淘汰策略?

Redis 内存淘汰策略共有八种,这八种策略大体分为**「不进行数据淘汰」「进行数据淘汰」**两类策略。

7.2.1 不进行内存淘汰

noeviction(Redis3.0之后,默认的内存淘汰策略) :它表示当运行内存超过最大设置内存时,不淘汰任何数据,而是不再提供服务,直接返回错误。

7.2.2 进行内存淘汰

针对「进行数据淘汰」这一类策略,又可以细分为**「在设置了过期时间的数据中进行淘汰」「在所有数据范围内进行淘汰**」这两类策略。

  • 在设置了过期时间的数据中进行淘汰
    • volatile-random随机淘汰设置了过期时间的任意键值;
    • volatile-lru:淘汰所有设置了过期时间的键值中,最久未使用的键值;
    • volatile-lfu:淘汰所有设置了过期时间的键值中,最少使用的键值;
  • 在所有数据范围内进行淘汰:
    • allkeys-random:随机淘汰任意键值;
    • allkeys-lru:淘汰整个键值中最久未使用的键值;
    • allkeys-lfu:淘汰整个键值中最少使用的键值;
7.2.3 LRU算法:最近最少使用淘汰策略

传统 LRU 算法的实现是基于「链表」结构,链表中的元素按照操作顺序从前往后排列,最新操作的键会被移动到表头,当需要内存淘汰时,只需要删除链表尾部的元素即可,因为链表尾部的元素就代表最久未被使用的元素。

Redis 并没有使用这样的方式实现 LRU 算法,因为传统的 LRU 算法存在两个问题:

  • 需要用链表管理所有的缓存数据,这会带来额外的空间开销
  • 当有数据被访问时,需要在链表上把该数据移动到头端,如果有大量数据被访问,就会带来很多链表移动操作,会很耗时,进而会降低 Redis 缓存性能。

Redis实现LRU算法的方式?

Redis 实现的是一种近似 LRU 算法,目的是为了更好的节约内存,它的**实现方式是在 Redis 的对象结构体中添加一个额外的字段,用于记录此数据的最后一次访问时间**。

当 Redis 进行内存淘汰时,会使用**随机采样的方式来淘汰数据,它是随机取 5 个值(此值可配置),然后淘汰最久没有使用的那个**。

但是 LRU 算法有一个问题,无法解决缓存污染问题,比如应用一次读取了大量的数据,而这些数据只会被读取这一次,那么这些数据会留存在 Redis 缓存中很长一段时间,造成缓存污染

7.2.4 LFU算法:最近最不常用淘汰策略

LFU 算法会记录每个数据的访问次数。当一个数据被再次访问时,就会增加该数据的访问次数。这样就解决了偶尔被访问一次之后,数据留存在缓存中很长一段时间的问题,相比于 LRU 算法也更合理一些。

Redis实现LFU算法的方式?

LFU 算法相比于 LRU 算法的实现,多记录了**「数据的访问频次」**的信息。

typedef struct redisObject {...// 24 bits,用于记录对象的访问信息(在LRU中只是记录访问时间,LFU中高位16bit记录访问时间 + 低位8bit记录访问频次)unsigned lru:24;  ...
} robj;

在 LFU 算法中,Redis对象头的 24 bits 的 lru 字段被分成两段来存储,高 16bit 存储 ldt(Last Decrement Time),用来记录 key 的访问时间戳;低 8bit 存储 logc(Logistic Counter),用来记录 key 的访问频次

在这里插入图片描述

资料参考

内容大多参考自自:图解Redis介绍 | 小林coding (xiaolincoding.com)

相关文章:

Redis学习[5] ——Redis过期删除和内存淘汰

六、Redis过期键值删除 6.1 Redis的过期键值删除策略 6.1.1 什么是过期键值删除? Redis中是可以对key设置过期时间的,所以需要有相应的机制将已过期的键值对删除,也就是**过期键值删除策略。Redis会用一个过期字典(expires dic…...

书生大模型学习笔记 - Python

Python实现wordcount 请实现一个wordcount函数,统计英文字符串中每个单词出现的次数。返回一个字典,key为单词,value为对应单词出现的次数。 解题思路:首先把字母转小写>然后把单词取出来去除标点>循环单词列表>key已存…...

spring security和核心流程

...

JavaScript青少年简明教程:面向对象编程入门

JavaScript青少年简明教程:面向对象编程入门 JavaScript 支持多种编程范式(programming paradigms),即支持多种不同的编程风格和方法。 前面介绍的编程方式,主要是面向过程编程(Procedural Programming&am…...

电话号的标准

点击标题下「蓝色微信名」可快速关注 最近碰到个电话号码的问题,除了常规数字,可能还会有国内国际的区号,例如中国,86、086、86,这些好像都见过,但什么是标准的?谁来定义的? 国际电信…...

项目实战_表白墙(升级版)

你能学到什么 表白墙(升级版)Mybatis的一些简单应用 正文 前⾯的案例中, 我们写了表⽩墙, 但是⼀旦服务器重启, 数据就会丢失. 要想数据不丢失, 需要把数据存储在数据库中,接下来咱们借助MyBatis来实现数据库的操作。 数据准备 如果我们…...

创意无限:11个设计圈热议的UI设计灵感网站集锦

无论你是一个经验丰富的UI设计师还是一个新的UI设计师,拥有一些高质量、可靠的UI设计网站灵感库都能加速你的设计过程。借助灵感资源,您可以更快、更有效地启动该项目。与此同时,优秀的UI设计网站也能帮助您探索新的设计解决方案,…...

C# Solidworks二次开发------综合小设计-1

一、内容 本文对前面所提及的相关信息做一些小设计 二、代码 public void Open_File(string FileNmae) {Process.Start("explorer.exe", FileNmae); }public void Connect_Excel() {string connectionString "ProviderMicrosoft.Jet.OLEDB.4.0;Data Source&q…...

nginx rtmp服务器搭建

参考链接:https://blog.csdn.net/bitcsljl/article/details/125826323...

打卡第31天------贪心算法

每天抓紧时间刷题,争取尽快上岸,不能再耽误一分一秒了,2024年已经过去大半年了。这个算法编程题是我的痛点。要尽快弥补。 卡尔在讲算法题的时候,思路比较清晰,通俗易懂,以前看见算法题就害怕,因为啥都不会,看懵了,跟了一个月了,每天坚持刷题,偶尔会回顾思路,也会…...

jenkins服务器重启,构建记录消失

1、进入系统管理查看系统运行日志,发现报保存构建日志失败 jenkins module java.base does not "opens java.lang.ref" to unnamed module 5276d6ee Java平台模块系统对类的可见性和访问权限进行了严格的控制。在Java 9及以上版本中,java.la…...

Linux系统部分问题处理方案

目录 一:crontab输出结果控制 二:telnet很慢/ssh很慢 三:Read-onlyfilesystem 四:⽂件删了磁盘空间没释放 五:获取不了⽹关mac地址 六: http服务⽆法启动⼀例 七:ibdata1和mysql-bin致磁盘空间问题 一:crontab输出结果控制 问题: /var/spool/clientmqueue⽬录…...

C语言指针与数组

在上一篇对指针介绍的文章当中,我们初次了解到了指针,并且知道了地址和内存间的关系,懂得了如何取地址和对指针的解引用,算是对指针有了一个初步的了解。而今天让我们对指针进行更深一步的了解吧~ 一、指针与数组名 我们知道&am…...

Stream 33

package Array.collection;import java.util.*; import java.util.stream.Stream;public class stream1 {public static void main(String[] args) {//、如何茯取List集合的Stream流?List<String> names new ArrayList<>();Collections. addAll(names,"方法…...

【Python Loguru】实现日志工具和日志饶接

【Python Loguru】实现日志工具和日志饶接 说明 代码使用第三方库Loguru实现了logging工具&#xff0c;可以直接改名字后就使用&#xff0c;并实现了日志绕接&#xff0c;使用前需要先安装loguru工具。 Code import os import json from loguru import logger# config_file…...

【Linux】-----进度条小程序

目录 前言 基本知识 Ⅰ、回车和换行 Ⅱ、缓冲区 两个有意思的现象 简单定义 刷新缓冲区 简易倒计时程序 进度条代码 多文件下makefile写法 一代(无任何场景) procs1.h代码 procs1.c代码 主函数main1.c 一代运行结果&#xff1a; 二代 (搭配下载场景) procs2.c代…...

普通人有必要学Python吗?学了之后能做什么?

目录 首先来说一下极其推荐的方向&#xff1a; 1、数据分析 2、科学计算 3、大数据框架 4、脚本开发 5、爬虫 6、Web框架 总结&#xff1a; 如果你还没有开始使用Python&#xff0c;答应我&#xff0c;把这个回答看完&#xff0c;如果你真的学习并深入使用过Python&…...

2023-2024年 Java开发岗面试题经验分享

在各行各业中&#xff0c;面试前我们总会思索一个问题&#xff1a;究竟什么样的求职者能获得面试官的青睐&#xff1f;作为求职者&#xff0c;我们又该如何准备&#xff0c;以应对各种面试官的挑战&#xff1f;在这激烈的竞争里&#xff0c;如何才能让自己从众多应聘者中脱颖而…...

JavaScript中URL和Blob

JavaScript中URL和Blob 常用于处理文件数据、图像数据、音频数据等。Blob对象通常用于在客户端处理文件&#xff0c;如上传文件、下载文件、处理图像等操作。Blob对象可以通过Blob构造函数创建&#xff0c;也可以通过其他方式获取&#xff0c;比如从File对象中获取。 使用场景…...

平舌、翘舌音学习: z、c、s--zh、ch、sh

平舌音翘舌音不分怎么办&#xff1f; 尝试整理了&#xff0c;如下一些材料&#xff1a; 一、 策略篇&#xff1a; 一年级拼音如何区分掌握&#xff1a;平舌音和翘舌音&#xff1f; 喜马拉雅&#xff0c; 平舌音翘舌音教学&#xff1a;普通话声母zh以及zh ch sh与z c s的发音练…...

手游刚开服就被攻击怎么办?如何防御DDoS?

开服初期是手游最脆弱的阶段&#xff0c;极易成为DDoS攻击的目标。一旦遭遇攻击&#xff0c;可能导致服务器瘫痪、玩家流失&#xff0c;甚至造成巨大经济损失。本文为开发者提供一套简洁有效的应急与防御方案&#xff0c;帮助快速应对并构建长期防护体系。 一、遭遇攻击的紧急应…...

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

8k长序列建模,蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂

蛋白质结合剂&#xff08;如抗体、抑制肽&#xff09;在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上&#xff0c;高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术&#xff0c;但这类方法普遍面临资源消耗巨大、研发周期冗长…...

渲染学进阶内容——模型

最近在写模组的时候发现渲染器里面离不开模型的定义,在渲染的第二篇文章中简单的讲解了一下关于模型部分的内容,其实不管是方块还是方块实体,都离不开模型的内容 🧱 一、CubeListBuilder 功能解析 CubeListBuilder 是 Minecraft Java 版模型系统的核心构建器,用于动态创…...

【Go】3、Go语言进阶与依赖管理

前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课&#xff0c;做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程&#xff0c;它的核心机制是 Goroutine 协程、Channel 通道&#xff0c;并基于CSP&#xff08;Communicating Sequential Processes&#xff0…...

VTK如何让部分单位不可见

最近遇到一个需求&#xff0c;需要让一个vtkDataSet中的部分单元不可见&#xff0c;查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行&#xff0c;是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示&#xff0c;主要是最后一个参数&#xff0c;透明度…...

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

深入解析C++中的extern关键字:跨文件共享变量与函数的终极指南

&#x1f680; C extern 关键字深度解析&#xff1a;跨文件编程的终极指南 &#x1f4c5; 更新时间&#xff1a;2025年6月5日 &#x1f3f7;️ 标签&#xff1a;C | extern关键字 | 多文件编程 | 链接与声明 | 现代C 文章目录 前言&#x1f525;一、extern 是什么&#xff1f;&…...

初学 pytest 记录

安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...