Redis-缓存穿透,缓存击穿,缓存雪崩
缓存穿透,缓存击穿,缓存雪崩
- 缓存穿透
- 处理方案
- 解决方案1 缓存空数据
- 解决方案2 布隆过滤器
- 缓存击穿
- 处理方案
- 解决方案 1 互斥锁
- 解决方案2 逻辑过期
- 缓存雪崩
- 处理方案
- 解决方案 1 给不同的key的过期时间设置添加一个随机值,降低同一个时段大量key同时过期的概率
- 解决方案 2 如果redis服务宕机,可以利用redis一些高可用的方案 比如哨兵模式,集群模式
- 解决方案 3 给缓存业务添加降级限流策略 可以利用ngxin或者getway
- 解决方案 4 给业务添加多级缓存 Guava或者caffeine为一级缓存,redis为二级缓存
缓存穿透
缓存穿透是指恶意或异常的查询请求导致缓存系统无法命中缓存,每次请求都要查询数据库或其他存储后端,导致数据库或存储系统压力过大的问题
可能造成的影响:数据库负载增加:频繁查询不存在的数据会导致数据库负载迅速增加,可能导致数据库崩溃或响应变得非常缓慢。
举一个例子:
一个get请求:api/news/getByid/2
通过这个id查询,我们后端会先去redis中查看是否有缓存,如果有的话直接从redis中返回就好了,如果没有则去查数据库,如果数据库中有的话,则缓存该数据并且返回
在我们实际上的请求中,有可能会出现查询不存在的id的情况,在这种情况下,我们redis查不到数据,导致大量的请求需要进行数据库查询操作,可能会造成数据库宕机。
处理方案
解决方案1 缓存空数据
缓存空数据,查询返回的数据为空,我们后端仍然把这个空结果进行缓存
优点:思路比较简单
缺点:比较消耗内存,可能发生不一致的问题
解决方案2 布隆过滤器
从上图中看,就好像一个净水器一样哈哈,作用其实有点类似
那么到底是怎么实现过滤的呢,其实底层是通过bitmap来实现的,而bitmap又是一个以bit为单位的数组,数组中每个位置只能存储二进制数0或1,例如我们传入一个数据id=1,那么布隆过滤器就会通过几个hash函数算出相应的值,如下图,传入id=1,通过hash1得到值为1,通过hash2得到值为3,通过hash3得到值为7,那么相应位置值都改为1,下次再传入数据id=1过来,我们只需要判断1,3,7这三个位置是否为1,即可判断该数据是否是空数据,当然布隆过滤器也是需要提前预热的。
缺点:实现比较复杂,存在误判
优点:内存占用比较少,没有多余的key
讲一下上面提到的误判:
在上图的前提下,如果此时又传入一个id=7,通过三个hash函数计算出来的值分别为,7,11,18。那么此时bitmap中有5个位置为1,分别为1,3,7,11,18,然而此时有一个空数据id=10,它通过hash函数计算出来的值分别为3,7,18,那么此时布隆过滤器会认为该数据不是空数据,产生一个误判的问题。
缓存击穿
缓存击穿是给某一个key设置了过期时间,当key过期的时候,恰好这时间点对这个key有大量的并发请求过来,这些并发的请求可能会瞬间把DB给压垮
举一个例子:
用白话来讲其实就是在设置redis的时候,我们设置了热点数据以及热点数据过期时间,但是等到热点数据的过期时间到了之后,该热点数据还是有多请求打过来,那么此时redis中不存在此热点数据的缓存了,就会将这些请求全部打在DB上,此时就会出现DB还来不及重建redis就被打死的情况
处理方案
解决方案 1 互斥锁
这个流程其实很好懂,当线程1进来查询缓存发现未命中后,加一把互斥锁,然后才查询数据库重建redis缓存,如果在重建还未完成的时候有别的线程进来想要查询数据就会被拦截了,一直要等到线程1将数据重新写入redis然后释放锁之后才能够拿到。
优点:强一致性
缺点:性能差
解决方案2 逻辑过期
逻辑过期,意味着永不过期。缓存击穿问题产生的原因是某个热点key过期了,请求都打到数据库了,造成数据库压力过大。因此我们可以提前准备一个不过期的热点key ,不设置它的过期时间,将这个key保存到redis中,这样理论上总能命中redis。那是怎么判断这个key逻辑上过期了?答案是这个key的value存储一个过期时间,我们判断这个key是否过期的依据,就是这个key的value保存的过期时间。
优点:高可用,性能高
缺点:不能保证数据的绝对一致,因为无论此数据是否过期,它都会直接就返回当前的数据
缓存雪崩
缓存雪崩是指在同一个时段大量缓存的key同时失效或者redis服务宕机了,导致大量的请求全部打到数据库
处理方案
解决方案 1 给不同的key的过期时间设置添加一个随机值,降低同一个时段大量key同时过期的概率
解决方案 2 如果redis服务宕机,可以利用redis一些高可用的方案 比如哨兵模式,集群模式
解决方案 3 给缓存业务添加降级限流策略 可以利用ngxin或者getway
解决方案 4 给业务添加多级缓存 Guava或者caffeine为一级缓存,redis为二级缓存
相关文章:
Redis-缓存穿透,缓存击穿,缓存雪崩
缓存穿透,缓存击穿,缓存雪崩 缓存穿透处理方案解决方案1 缓存空数据解决方案2 布隆过滤器 缓存击穿处理方案解决方案 1 互斥锁解决方案2 逻辑过期 缓存雪崩处理方案解决方案 1 给不同的key的过期时间设置添加一个随机值,降低同一个时段大量ke…...
如何使用Docker实现分布式Web自动化!
01、前言 顺着docker的发展,很多测试的同学也已经在测试工作上使用docker作为环境基础去进行一些自动化测试,这篇文章主要讲述在docker中使用浏览器进行自动化测试如果可以实现可视化,同时可以对浏览器进行相关的操作。 02、开篇 首先我们…...
从零开始:制作出色的产品原型图的详细教程
在设计产品的初始版本或模型时,产品原型起着非常重要的作用,可以帮助设计师和团队更好地了解产品需求和用户需求,优化和改进设计,确保设计最终满足用户的需求和期望。如果你不知道如何绘制产品原型图,绘制产品原型图的…...
美国访问学者签证如何申请加急办理?
许多中国学者梦想着前往美国深造,积累更多的学术经验和知识。然而,签证申请过程可能会变得复杂和繁琐,特别是如果你需要在紧急情况下前往美国。但别担心,本文知识人网小编将为您介绍美国访问学者签证加急办理的一些建议和步骤。 首…...
33 WEB漏洞-逻辑越权之水平垂直越权全解
目录 前言水平,垂直越权,未授权访问Pikachu-本地水平垂直越权演示(漏洞成因)墨者水平-身份认证失效漏洞实战(漏洞成因)原理越权检测-Burpsuite插件Authz安装测试(插件使用)修复防御方案 前言 越权漏洞文章分享:https://www.cnblogs.com/zhen…...
【FreeRTOS】【STM32】02 FreeRTOS 移植
基于 [野火]《FreeRTOS%20内核实现与应用开发实战—基于STM32》 正点原子《STM32F429FreeRTOS开发手册_V1.2》 准备 基础工程,例如点灯 FreeRTOS 系统源码 FreeRTOS 移植 上一章节已经说明了Free RTOS的源码文件在移植时所需要的,FreeRTOS 为我们提供…...
STM32F4X 内部FLASH使用
STM32F4X 内部FLASH使用 STM32F4X 内部FLASHSTM32F4X内部FLASH结构STM32F40X和STM32F41X内部FLASH结构STM32F42X和STM32F43X内部FLASH结构 STM32F4X内部FLASH操作例程internal_flash.hinternal_flash.cmain.c 在嵌入式开发中,经常需要实时保存一些数据。如果工程的代…...
减小windows或linux虚拟机导出ova体积大小
减小windows或linux虚拟机导出ova体积大小 删除无用的文件,比如日志或者命令,程序等;去除磁盘碎片将不用的内存空间填充为0,便于vmdk压缩。 例子: 日志文件置空: 批量置空 /sf/data/log/ 目录下的日志文…...
WPF livecharts 折线图遮挡数字问题
在WPF里使用livecharts,如果折线图或者柱状图有多个的时候,可能会出现两个数字遮挡问题,这时候要设置DataLabelsTemplate 属性。 如LineSeries设置代码如下: 第一个折线图的DataLabelsTemplate var stackPanelFactory new Fra…...
电力系统数字化升级改造之配电室无人值守
随着科技的不断进步,电力系统的数字化升级改造已成为必然趋势。其中,配电室的无人值守是其中重要的一环。 配电室是电力系统的重要组成部分,其运行状态直接影响到电力系统的稳定性和可靠性。然而,传统的配电室存在很多问题&am…...
集合Set
目录 一、去重问题 一、去重问题 题目描述: 小明想在学校中请一些同学一起做一项问卷调查,为了实验的客观性他先用计算机生成了N个1~1000之间的随机整数(N<1000),N是用户输入的,对于其中重复的数字,只保留一个&am…...
TCP/IP(二)导论
一 知识铺垫 以下内容参照 <<电子科技大学TCPIP协议原理>>全 ① 协议和标准 一组规则: 交通规则、学生上学的学生守则等;数据通信的规则,有一个专门的名称叫作协议 protocol语义:具体描述在通信当中,每一个信息的具体含义. 二进制bit流…...
Java之UDP,TCP的详细解析
练习四:文件名重复 public class UUIDTest { public static void main(String[] args) { String str UUID.randomUUID().toString().replace("-", ""); System.out.println(str);//9f15b8c356c54f55bfcb0ee3023fce8a } } public class Client…...
【总结】kubernates crd client-java 关于自定义资源的增删改查
Java model 准备 首先使用 crd.yml 和 kubernetes CRD 自动生成 Java model 类,这是一切的前提,之前在这个地方也卡了很久。如何生成在另外一个文章中已经有所记录。 使用 crd.yml 和 kubernetes CRD 自动生成 Java model 类 CustomObjectsApi 文档学习…...
蓝牙主要知识,一文概览
蓝牙知识相关 文章目录 蓝牙知识相关1.蓝牙版本的发展简史2.低功耗BLE PHY2.1 频段**2.2 BLE调制方案—GFSK**2.3 **蓝牙 LE 传输速度、功率和接收器灵敏度**2.4 **BLE 时分双工 (TDD)**3.BT主从连接过程3.1 主设备工作模式3.1.1 积木编程控制台3.2 从设备工作模式3.2.1 蓝牙遥…...
Linux 守护进程
一 何为守护进程 守护进程( Daemon )也称为精灵进程,是运行在后台的一种特殊进程,它独立于控制终端并且周期性 地执行某种任务或等待处理某些事情的发生,主要表现为以下两个特点: 长期运行。守护进程是一…...
自动驾驶技术的基础知识
自动驾驶技术是现代汽车工业中的一项革命性发展,它正在改变着我们对交通和出行的理解。本文将介绍自动驾驶技术的基础知识,包括其概念、历史发展、分类以及关键技术要素。 1. 自动驾驶概念 自动驾驶是一种先进的交通技术,它允许汽车在没有人…...
解决:yarn 无法加载文件 “C:\Users\XXXXX\AppData\Roaming\npm\yarn.ps1,因为在此系统上禁止运行脚本“ 的问题
1、问题描述: 报错的整体代码为: yarn : 无法加载文件 C:\Users\admin\AppData\Roaming\npm\yarn.ps1,因为在此系统上禁止运行脚本 // 整体的报错代码为 : yarn : 无法加载文件 C:\Users\admin\AppData\Roaming\npm\yarn.ps1&…...
【JVM--StringTable字符串常量池】
文章目录 1. String 的基本特性2. 字符串拼接操作3. intern()的使用4. StringTable 的垃圾回收 1. String 的基本特性 String 声明为 final 的,不可被继承String 实现了 Serializable 接口:表示字符串是支持序列化的。String 实现了 Comparable 接口&am…...
Large Language Models Meet Knowledge Graphs to Answer Factoid Questions
本文是LLM系列文章,针对《Large Language Models Meet Knowledge Graphs to Answer Factoid Questions》的翻译。 大型语言模型与知识图谱相遇,回答虚假问题 摘要1 引言2 相关工作3 提出的方法4 实验设计5 结果与讨论6 结论 摘要 最近,有研…...
blender 之视频渲染(以三维重建path为例)
blender 之视频渲染(以三维重建path为例) 1.新建轨迹路径2.设置相机,使其按照path运动3.将相机视角对准物体4.修改帧率5.设置输出路径6.设置输出格式7.渲染 1.新建轨迹路径 新建轨迹 选中新建的BezierCycle,按住S,拖…...
leetcode做题笔记166. 分数到小数
给定两个整数,分别表示分数的分子 numerator 和分母 denominator,以 字符串形式返回小数 。 如果小数部分为循环小数,则将循环的部分括在括号内。 如果存在多个答案,只需返回 任意一个 。 对于所有给定的输入,保证 …...
Android Studio新建项目缓慢解决方案
关于Android Studio2022新建项目时下载依赖慢的解决方案 起因解决方案gradle下载慢解决方案kotlin依赖下载慢解决方案 结尾 起因 新建Android Studio项目时,常会因为网络问题导致部分依赖下载缓慢,其中gradle和kotlin最拖慢进度。 解决方案 gradle下载…...
AmdU (5-azidomethyl-2‘-deoxyuridine)的反应原理|59090-48-1
产品简介:叠氮甲基dU(AmdU)是一种核苷类化合物,它含有叠氮基团,这种结构特点使其在细胞学和生物学领域得到了广泛应用。与胸腺嘧啶核苷相似的结构,使得叠氮甲基dU(AmdU)能够被细胞聚…...
使用nvm安装多个node版本
github下载地址: Releases coreybutler/nvm-windows (github.com) 安装了 nvm(Node Version Manager)后,可以使用以下步骤安装第二个 Node.js 版本: 打开终端或命令提示符。 使用以下命令列出可用的 Node.js 版本: …...
基于springboot实现自习室预订系统的设计与实现项目【项目源码+论文说明】分享
基于springboot实现自习室预订系统的设计与实现演示 摘要 在网络高速发展的时代,众多的软件被开发出来,给学生带来了很大的选择余地,而且人们越来越追求更个性的需求。在这种时代背景下,学院只能以学生为导向,所以自习…...
淘宝详情API接口
一、引言 随着互联网的快速发展和电子商务的广泛应用,淘宝作为中国最大的C2C电商平台,其提供的API接口在各种应用中发挥着越来越重要的作用。本文将详细介绍淘宝详情API接口的背景、定义、类型,以及在各种应用场景中的作用和优势,…...
充气膜结构的应用领域
由于充气膜结构具有丰富多彩的造型,优异的建筑特性、结构特性和适宜的经济性等其他传统建筑无法比拟的优势,因此备受人们青睐,被应用于工业、民用、军事等许多领域中,具有广阔的应用前景。 充气膜结构的主要应用领域包括ÿ…...
自动拟人对话机器人在客户服务方面起了什么作用?
在当今数字时代,企业不断寻求创新的方法来提升客户服务体验。随着科技的不断进步和消费者期望的提升,传统的客户服务方式逐渐无法满足现代消费者的需求。因此,许多企业正在积极探索利用新兴技术来改进客户服务,自动拟人对话机器人…...
检验检疫系统(LIS)源码:C# + MVC + SQLserver + Redis
LIS系统源码技术特点:采用.Net Core新的技术框架、DEV报表、前端js封装、分布式文件存储、分布式缓存等,支持LIS独立部署,Docker部署等多种方式。 技术架构:ASP.NET CORE 3.1 MVC SQLserver Redis等 开发语言:C…...
深圳市做网站公司/怎么做网站宣传
关于深度学习的框架之争一直都没停止过,每隔一阵大家就要进行一次框架大讨论: TensorFlow的使用者虽多,又有谷歌的背书,但真的很!难!用! Pytorch虽然入门简单、上手快,但因为开源时…...
企业网站 三网系统/网站怎么制作免费的
具体生成的算法肯定不知道,但是可能明确 每个url参数的值都对应该一个地址。根据长度来看的话像是可逆的,其实不考虑他用啥散列算法了,生成这么一个字符串我想它的主要还是想统计用,如果百度搜索结果被程序抓取,那么直…...
免费企业网站注册/怎样在浏览器上找网站
write写入方式:永久保存在磁盘中 1.获得文件保存的路劲 //使用C函数NSSearchPathForDirectoriesInDomains来获得沙盒中目录的全路径.该函数有三个参数,目录类型、he domain mask、布尔值.其中布尔值表示是否需要通过~扩展路径.而且第一个参数是不变的,即为NSSearc…...
聊城网站制作公司/公司网络营销策略
题目描述 将给出的整数x翻转。 例1:x123,返回321 例2:x-123,返回-321 你有思考过下面的这些问题么? 如果整数的最后一位是0,那么输出应该是什么?比如10,100 你注意到翻转后的整数可能溢出吗?假设输入是3…...
安阳专业做网站公司/网络运营推广合作
1、 通过Context.getSharedPreferences(String fileName,int mode)方法,可以打开一个xml文件,文件的位置在/data/data/package_name/shared_prefs/fileName.xml,如果不存在,则会自动创建。可以对该文件进行读写操作,在…...
建立一个网站需要会什么软件/女教师遭网课入侵视频大全播放
使用CreateWindowEx创建ComboBox控件 #define COMBOBOX_0 1000 #define COMBOBOX_1 1001 #define COMBOBOX_2 1002 ......