当前位置: 首页 > news >正文

老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!!

老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!!

    • 缓存穿透
      • 发生场景
      • 解决方案
    • 缓存击穿
      • 解决方案
    • 缓存雪崩
      • 发生场景
      • 解决方案
    • 总结
      • 三者区分
      • 三者原因
      • 三者解决方案

想象一下,你开了一家便利店,店里有各种各样的零食。

这些零食在货架上,而他们就是你店铺的“缓存”,你的仓库则相当于“数据库”。平时,当顾客来买零食时,你都会从店里的货架(缓存)拿给他,这样既快又方便。

首先,让我们来看一下最常见的缓存模式

在这里插入图片描述

有一天,你的店遇到了三种麻烦。

缓存穿透

有个顾客跑来问你:“请问你们有卖最近 香香甜甜脆脆糕 吗?”
你一下子懵了,因为你知道货架(缓存)上根本没有这种东西(数据不存在)
但顾客不死心,一直缠着你要。于是只好跑到仓库(数据库)去查一下,结果当然是没有。

这种情况就相当于“缓存穿透”,顾客的请求没有在缓存中找到,只好直接访问数据库,而数据库又没有这个数据。

如果此时有大量的顾客都冲进你小小的便利店,向你要 香香甜甜脆脆糕 ,大量的请求挤进了仓库(数据库),那你的仓库就被挤爆了!
在这里插入图片描述

发生场景

缓存穿透发生一般有两种情况

  • 业务误操作,缓存中的数据和数据库中的数据被误删了,导致数据和数据库中都没有这项数据

比如你家小朋友备着偷偷吃掉了所有的香香甜甜脆脆糕

  • 黑客恶意攻击,故意大量访问某些读取不存在的业务

比如有个老黑粗问你这里有没有 AK47自动步枪? (os:??? )

解决方案

应对缓存穿透,常见有如下四种解决方案:

  1. 非法请求限制
  2. 缓存默认值或空值
  3. 使用布隆过滤器来快速判断数据是否存在,避免通过查询数据库来判断数据是否存在
  4. 限流策略

第一种方案,非法请求限制

在便利店入口处就设置一个身份系统检测,你起码得有个合法身份!

当有大量的恶意请求访问不存在的数据的时候,也会发生缓存穿透
因此我们最好在 API 入口处就判断请求参数是否合理,比如说 请求参数是否含有非法值,请求字段是否存在,如果判断出是恶意请求就直接返回错误,避免进一步访问缓存和数据库

第二种方案,缓存默认值或空值

没有 香香甜甜脆脆糕 ,那就拿个绿豆糕给你!

针对查询的数据,在缓存中设置一个设置一个空值或者默认值,这样后续请求就可以从缓存中读取到空值或者默认值,返回给应用,而不会继续查询数据库

但是这里存在一个问题,如果攻击者每次都用不同的且不存在的 key 来请求数据,那么这个方案就会丧失它的效果,而且要回写特殊值,会浪费不少 Redis 内存,这可能会导致 Redis 内存不足,执行淘汰策略的时候,把其他有用的数据淘汰掉。

第三种方案,使用布隆过滤器

在货架(缓存)和仓库(数据库)之间放置一个智能查询机(布隆过滤器),他能快速判断数据是否存在

我们在写入数据库数据时,使用布隆过滤器做个标记,然后在用户请求到来时,业务线程确认缓存失效后,通过查询布隆过滤器快速判断数据是否存在,如果不存在,就不用通过查询数据库来判断数据是否存在了

但是,值得注意的是,布隆过滤器说数据存在,并不一定证明数据库中存在这个数据,但是查询到数据不存在,数据库中一定就不存在这个数据。这涉及到布隆过滤器的工作原理,放在以后的文章中进行讲述

第四种方案,限流策略

门口设置保安,你们这些要 香香甜甜脆脆糕 的得排队!

针对频繁请求的特定数据,可以设置限流策略, 例如使用令牌桶算法或漏桶算法,限制对这些数据的请求频率,减轻数据库的压力

缓存击穿

有一天,店里的一包薯片突然成了热门商品(热点数据),大家都想要买。但这包薯片刚好快过期了,于是你把它的货架撤下来(热点数据过期)。可是就在这时,一大群顾客蜂拥而至,每个人都想要这包薯片(大量请求访问热点数据)。你只好一个个去告诉他们:“薯片没有了,换新的了。”结果这些顾客都不信,非得一个个去仓库看有没有。这样一来,你的仓库(数据库)就被大量请求冲击,差点瘫痪。

如果缓存中的某个热点数据过期了,而此时大量的请求访问了该热点数据,就无法从缓存中读取,直接访问数据库,数据库就很容易被高并发请求冲垮

注意:缓存击穿的关注点是热点数据不存在缓存上,因为如果是普通数据,那就是正常的缓存未命中而已,反之热点数据如果没命中,就容易导致大量的请求落到了数据库上
在这里插入图片描述

解决方案

应对缓存击穿,常见有如下四种解决方案:

  1. 设置热点数据的热度时间窗口
  2. 设置缓存永不过期
  3. 使用互斥锁或者分布式锁
  4. 异步更新缓存

第一种方案,设置热点数据的热度时间窗口

零食快过期了?我直接延长你保质期!

对于热点数据,可以设置一个热度时间窗口,在这个时间窗口中,如果一个数据被频繁访问,就将其缓存时间延长,避免频繁刷新缓存导致缓存击穿

第二种方案,使用互斥锁或分布式锁

只准一个人冲进仓库去找!

保证同一时间只有一个业务线程更新缓存,未能获取到互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值

实现互斥锁的时候,最好设置超时时间,不然第一个请求拿到了锁,然后这个请求发生了某种意外而一直不阻塞,一直不释放锁,这是其他请求也一直拿不到锁,整个系统就会出现无响应的现象

分布式锁的问题可以看看这篇文章:
Redis原理篇——分布式锁

第三种方案,缓存永不过期

没错,我们的食物没有保质期这一说,你见过矿泉水有保质期吗?你见过二锅头有保质期吗?

对于一些热点数据,可以将其缓存设置为永不过期,避免缓存击穿

第四种方案,异步更新缓存

专门雇了个店员,每天检查食物保质期并更换货架食物和仓库食物,不需要我操心~

不给热点数据设置过期时间,使用一个后台线程,去检测缓存是否失效,如果失效了,就去更新缓存,属于主动更新缓存的方式,相比缓存失效之后,遇到了大量请求被动更新的方式,可以避免高峰期的缓存失效而引发的性能问题

缓存雪崩

有一天,你发现货架上有一批同时进货的零食(比如说薯片,奥利奥,妙妙脆),都到了过期时间,就把他们都下架了。结果第二天,来了大量的顾客,一个要薯片,一个要奥利奥,一个要妙妙脆,然后货架(缓存)上都没有,于是全部的顾客冲进了你的仓库(数据库),直接就把你仓库(数据库)挤爆了!!

大量缓存数据在同一时间过期 或者 Redis 故障宕机(货架坏了食物也没法吃了)时,如果此时有大量的用户请求,都无法在 Redis 中处理,于是全部请求都直接访问数据库,从而导致数据库的压力骤增,严重的会造成数据库宕机,从而形成一系列连锁反应,造成整个系统崩溃,这就是缓存雪崩的问题。

发生场景

  • 场景1:缓存集中失效。比如为了双十一,将一批商品放入到缓存中,设置两小时过期,凌晨2点过期了,导致对这一批商品的访问都落到了数据库,数据库就会产生压力波峰。
  • 场景2:当然缓存雪崩一个最严重特殊情况是,在流量高峰,一个缓存节点直接出现问题,甚至扩大到缓存集群出现问题,那么就会导致本应该访问缓存的流量透传到数据库上。

解决方案

可以看到,发生缓存雪崩有两个原因:

  • 大量数据同时过期;
    在这里插入图片描述

  • Redis 故障宕机;

在这里插入图片描述

不同的诱因,应对的策略也会不同。

针对 大量数据同时过期

  1. 设置缓存数据的随机过期时间
  2. 分布式锁或互斥锁
  3. 数据预热
  4. 后台更新缓存
  5. 数据库优化

第一种方案,设置缓存数据的随机过期时间
如果要给缓存数据设置过期时间,应该避免将大量的数据设置为同一个过期时间,我们可以给缓存数据设置过期时间时,加上一个随机数,这样就保证数据不会再同一时间过渡

第二种方案,分布式锁或互斥锁
与缓存击穿一样,保证同一时间只有一个业务线程更新缓存,未能获取到互斥锁的请求,要么等待锁释放后重新读取缓存,要么就返回空值或者默认值
当然,最好设置超时时间

第三种方案,数据预热
在系统启动或者非高峰期时,提前将热点数据加载到缓存中,这样即时在高并发时,也能够从缓存中获取到数据,减轻数据库的压力

第四种方案,后台更新缓存
与缓存击穿一样,将更新缓存的工作交由后台线程定时更新

第五种方案,数据库优化
除了缓存层面的应对策略,还可以从数据库层面进行优化,如提升数据库性能、增加数据库的容量等,以应对大量请求导致的数据库压力

针对 Redis 故障宕机
针对 Redis 故障宕机而引发的缓存雪崩问题,常见的应对方法有下面这几种:

  • 服务熔断或请求限流机制
  • 构建 Redis 缓存高可靠集群

第一种方案,服务熔断或请求限流机制

一个都别进仓库了(服务熔断)! 好吧,就放几个进去哈(请求限流)!

因为 Redis 故障宕机而导致缓存雪崩问题时,我们可以启动服务熔断机制,暂停业务应用对缓存服务的访问,直接返回错误,不用再继续访问数据库,从而降低对数据库的访问压力,保证数据库系统的正常运行,然后等到 Redis 恢复正常后,再允许业务应用访问缓存服务。

服务熔断机制是保护数据库的正常允许,但是暂停了业务应用访问缓存服系统,全部业务都无法正常工作

为了减少对业务的影响,我们可以启用请求限流机制,只将少部分请求发送到数据库进行处理,再多的请求就在入口直接拒绝服务,等到 Redis 恢复正常并把缓存预热完后,再解除请求限流的机制。

第二种方案,构建 Redis 缓存高可靠集群

服务熔断或请求限流机制是缓存雪崩发生后的应对方案,我们最好通过主从节点的方式构建 Redis 缓存高可靠集群

如果 Redis 缓存的主节点故障宕机,从节点可以切换成为主节点,继续提供缓存服务,避免了由于 Redis 故障宕机而导致的缓存雪崩问题。

主从架构可以看看之前写的这篇文章哈

Redis实战篇——搭建主从复制

总结

三者区分

注意要区分好缓存穿透、缓存击穿和缓存雪崩三者之间的区别

缓存穿透,顾名思义,“穿” 了缓存,“透” 了数据库,数据既不存在缓存中,也不存在数据库中

缓存击穿,主要针对的是一个热点数据,他不存在于缓存,导致大量的请求访问数据库

缓存雪崩,主要针对的是一批热点数据,他们不存在于缓存,导致大范围的数据请求访问数据库

三者原因

缓存穿透的原因呢,一方面可能是黑客恶意攻击,另一方面可能是业务失误把数据删除

缓存击穿的原因呢,主要就是热点数据过期

缓存雪崩的原因呢,一方面可能是大量数据缓存中过期,另一方面是缓存直接宕机

三者解决方案

针对各自的原因,采取相应的方案
对于缓存穿透,可以限制非法请求回写特殊值(空值或默认值),使用布隆过滤器

对于缓存击穿
针对热点数据,可以设置过期时间延长或者直接设置为永不过期
针对缓存更新,可以在失效时使用互斥锁或者后台去更新缓存

对于缓存雪崩
针对大量数据同时过期,可以像缓存击穿一样,互斥锁后台更新缓存或者随机设置过期时间
也可以预热数据,甚至直接优化数据库
针对缓存故障,采取服务熔断或者请求限流机制,也可以直接搭建高可用集群

相关文章:

老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!!

老生常谈问题之什么是缓存穿透、缓存击穿、缓存雪崩?举个例子你就彻底懂了!! 缓存穿透发生场景解决方案 缓存击穿解决方案 缓存雪崩发生场景解决方案 总结三者区分三者原因三者解决方案 想象一下,你开了一家便利店,店里…...

[code snippet] 生成随机大文件

[code snippet] 生成随机大文件 一个无聊的测试代码,因为要测试大文件的网络传输,就写了一个随机大文件生成脚本,做个备份。 基本上都是 GPT 生成的,哈哈。 C# 代码 namespace ConsolePlayground;internal class BigFileGenera…...

计算机网路面试HTTP篇三

HTTPS RSA 握手解析 我前面讲,简单给大家介绍了的 HTTPS 握手过程,但是还不够细! 只讲了比较基础的部分,所以这次我们再来深入一下 HTTPS,用实战抓包的方式,带大家再来窥探一次 HTTPS。 对于还不知道对称…...

如何不改变 PostgreSQL 列类型#PG培训

开发应用程序并在其背后操作数据库集群时,会遇到一个意想不到的问题是实践与理论、开发环境与生产之间的差异。这种不匹配的一个完美例子就是更改列类型。 #PG考试#postgresql培训#postgresql考试#postgresql认证 关于如何在 PostgreSQL(以及其他符合 SQ…...

RocketMQ快速入门:事务消息原理及实现(十)

目录 0. 引言1. 原理2. 事务消息的实现2.1 java client实现(适用于spring框架)2.2 springboot实现 3. 总结 0. 引言 rocketmq 的一大特性就是支持事务性消息,这在诸多场景中有所应用。在之前的文章中我们已经讲解过事务消息的使用&#xff0…...

Kotlin设计模式:深入理解桥接模式

Kotlin设计模式:深入理解桥接模式 在软件开发中,随着系统需求的不断增长和变化,类的职责可能会变得越来越复杂,导致代码难以维护和扩展。桥接模式(Bridge Pattern)是一种结构型设计模式,它通过…...

常用MQ消息中间件Kafka、ZeroMQ和RabbitMQ对比及RabbitMQ详解

1、概述 在现代的分布式系统和实时数据处理领域,消息中间件扮演着关键的角色,用于解决应用程序之间的通信和数据传递的挑战。在众多的消息中间件解决方案中,Kafka、ZeroMQ和RabbitMQ 是备受关注和广泛应用的代表性系统。它们各自具有独特的特…...

【UE5.3】笔记6-第一个简单小游戏

打砖块小游戏: 1、制造一面砖块组成的墙 在关卡中放置一个cube,放这地面上,将其转换成蓝图类,改名BP_Cube,更换砖块的贴图,按住alt键进行拷贝,堆出一面墙,复制出来的会很多,全选移动…...

LeetCode---402周赛

题目列表 3184. 构成整天的下标对数目 I 3185. 构成整天的下标对数目 II 3186. 施咒的最大总伤害 3187. 数组中的峰值 一、构成整天的下标对数目 I & II 可以直接二重for循环暴力遍历出所有的下标对,然后统计符合条件的下标对数目返回。代码如下 class So…...

循环冗余校验

循环冗余校验(Cyclic Redundancy Check,简称CRC)是一种广泛使用的错误检测编码技术,用于检测数据在传输或存储过程中是否发生错误。CRC通过在数据后面添加一个校验值(通常称为CRC码或CRC校验和)来实现错误检…...

resample sensor

resample sensor 的一个问题。 背景: 项目要求,发送多个数据到 sensor-hal 上去,发现无论怎样,在 sensor-hal 上都 只有一个数据。 resample sensor 是重新采样,这个怎么理解的,我的理解是: 假设 sensor 采…...

【Linux】多线程的相关知识点

一、线程安全 1.1 可重入 VS 线程安全 1.1.1 概念 线程安全:多个线程并发执行同一段代码时,不会出现不同的结果。常见对全局变量或者静态变量进行操作,并且没有锁的保护的情况下,会出现问题。重入:同一个函数被不同…...

Java反射详解

Java反射 一.什么是反射 我们使用的一些像框架,tomcat,或者一些其他的组件(jackson 对象–>json)。他们可以做到给他什么类名,就可以创建给定类的对象,并调用该对象的方法和属性。这是如何做到的? 当他们加载我们…...

Spring Boot与Apache Kafka集成的深度指南

Spring Boot与Apache Kafka集成的深度指南 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! 在现代分布式系统中,消息队列的作用愈发重要&#xff0…...

甄选版“论软件系统架构评估”,软考高级论文,系统架构设计师论文

论文真题 对于软件系统,尤其是大规模的复杂软件系统来说,软件的系统架构对于确保最终系统的质量具有十分重要的意义,不恰当的系统架构将给项目开发带来高昂的代价和难以避免的灾难。对一个系统架构进行评估,是为了:分析现有架构存在的潜在风险,检验设计中提出的质量需求,…...

uniapp开发企业微信内部应用

最近一直忙着开发项目,终于1.0版本开发完成,抽时间自己总结下在项目开发中遇到的技术点。此次项目属于自研产品,公司扩展业务,需要在企业微信中开发内部应用。因为工作中使用的是钉钉,很少使用企业微信,对于…...

0122__linux之eventfd理解

linux之eventfd理解-CSDN博客 Linux fd 系列 — eventfd 是什么?-CSDN博客...

数学建模 —— 查找数据

目录 百度搜索技巧 完全匹配搜索:查询词的外边加上双引号“ ” 标题必含关键词:查询词前加上intitle: 搜索文档:空格再输入filetype:文件格式 去掉不想要的:查询词后面加空格后加减号与关键字 知网查文献 先看知网的硕博士…...

合并有序链表

合并有序链表 图解代码如下 图解 虽然很复杂,但能够很好的理解怎么使用链表,以及对链表的指针类理解 代码如下 Node* merge_list_two_pointer(List& list1, List& list2) {Node* new_head1 list1.head;Node* new_head2 list2.head;Node* s…...

【SpringBoot Web框架实战教程】05 Spring Boot 使用 JdbcTemplate 操作数据库

不积跬步,无以至千里;不积小流,无以成江海。大家好,我是闲鹤,微信:xxh_1459,十多年开发、架构经验,先后在华为、迅雷服役过,也在高校从事教学3年;目前已创业了…...

Spark基于DPU的Native引擎算子卸载方案

1.背景介绍 Apache Spark(以下简称Spark)是一个开源的分布式计算框架,由UC Berkeley AMP Lab开发,可用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习&a…...

Mini2440 start.s 修改支持串口输出,方便调试 (四)

经常会遇到点板子的时候,板子没有任何反应!怎么知道板子有没有在正常启动,在uboot阶段 start.s 中加入串口打印信息是很有必要的! 输出串口信息 ***UART:mini-2440-uBoot*** ***UART:mini-2440-uBoot*** ***UART:mini-2440-uBoo…...

【教程】几种不同的RBF神经网络

本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com 目录 一、经典RBF神经网络1.1.经典径向基神经网络是什么1.2.经典径向基神经网络-代码与示例 二、广义回归神经网络GRNN2.1.广义回归神经网络是什么2.2.广义回归神经网络是什么-代码与示例 三、概率…...

【Liunx-后端开发软件安装】Liunx安装FDFS并整合nginx

【Liunx-后端开发软件安装】Liunx安装nacos 文章中涉及的相关fdfs相关软件安装包请点击下载: https://download.csdn.net/download/weixin_49051190/89471122 一、简介 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括…...

【Java笔记】Flyway数据库管理工具的基本原理

文章目录 1. 工作流程2. 版本号校验算法3. 锁机制3.1 为什么数据库管理工具需要锁3.2 flyway的锁机制 Reference 最近实习做的几个项目都用到了Flyway来做数据库的版本管理,顺便了解了下基本原理,做个记录。 详细的使用就不写了,网上教程很多…...

国际数字影像产业园创业培训,全面提升创业能力!

国际数字影像产业园作为数字影像产业的创新高地,致力于提供全面的创业支持服务。其中,创业培训作为重要的组成部分,旨在通过系统的课程设置和专业的讲师团队,为创业者提供从基础到进阶的全方位指导,帮助他们在数字影像…...

pyqt5 制作视频剪辑软件,切割视频

该软件用于切割视频,手动选取视频片段的起始帧和结束帧并保存为json文件。gui界面如下:包含快进、快退、暂停等功能, 代码如下: # codingUTF-8 """ theme: pyqt5实现动作起始帧和结束帧的定位,将定位到…...

VUE----通过nvm管理node版本

使用 NVM(Node Version Manager)来管理和切换 Node.js 版本是一个很好的选择。以下是在 苹果电脑macos系统 上使用 NVM 安装和切换 Node.js 版本的步骤: 1. 安装 NVM 如果你还没有安装 NVM,可以按照以下步骤进行安装&#xff1a…...

R语言进行字符的替换和删减gsub,substr函数

目录 R语言读文件“-“变成“.“ 提取列字符前几个 提取列字符末尾几个 进行字母替换 paste0函数使用 长宽数据转换 R语言读文件“-“变成“.“ R语言读文件“-“变成“.“_r语言 列名中的-变成了点-CSDN博客 怎样将"."还原为"-" rm(list = ls()…...

2024年6月27日,欧盟REACH法规新增第31批1项SVHC高关注物质

ECHA公布第31批1项SVHC,物质已增至241项 2024年6月27日,ECHA公布第31批1项SVHC,总数达241项。新增物质未包括磷酸三苯酯,仍在评议中。REACH法规要求SVHC含量超0.1%需告知下游,出口超1吨须通报ECHA。SCIP通报要求SVHC含…...

校园网站建设与管理/游戏推广员骗局

本文转自摄像头的MIPI接口、DVP接口和CSI接口-百度经验 (baidu.com),感谢作者分享 一般来讲,摄像头的接口主要有MIPI接口、DVP接口、CSI接口三大类; 我们常用的电脑摄像头接口是USB接口,而常见的智能手机上的摄像头是MIPI接口&am…...

如何登录网站备案/友情链接怎么购买

转自:http://blog.csdn.net/stormbjm/article/details/9086163 1、添加用户,首先用adduser命令添加一个普通用户,命令如下: #adduser tommy //添加一个名为tommy的用户#passwd tommy //修改密码 Changing password for user tom…...

互联网保险监管/吉林关键词排名优化软件

本文作者戴尔伍德(Dale Woods)2007年开始交易外汇,是一名外汇“发烧友”,尤其偏爱价格运动(Price Action)分析,至今拥有12年的交易经验。在这十多年的交易生涯中,伍德一直对价格运动…...

机械厂网站模板/国际购物网站平台有哪些

很多初学者问小编是如何学习Java的,有没有好的建议? 今天给大家来点干货,因此咱们就不说一些学习方法和技巧了,直接来谈每个阶段要学习的内容甚至是一些书籍。这一部分的内容,同样适用于一些希望转行到Java的同学。 对…...

做数学题的网站有吗/seo排名点击首页

在家目录(root 用户为 /root;其它用户为 /home/userName/)下可以找到一个 .vimrc 的文件 打开此文件输入 set ts4 set expandtab 保存并退出,重启 vim 可以看到,原来的 tab 已经变成了四个空格。 对于已经打开的文件,可以用以下方法&…...

网页标准化对网站开发维护的好处/海南百度推广代理商

网上说的基本都是使用express或http-server作为服务器或其它什么东西自己把玩php也有些年头,就用php好了 服务环境 apache,php先配置好隐藏php后缀扩展名: 在httpd.conf中 FilesMatch 标签内增加:ForceType application/x-httpd-php 这样只针…...