当前位置: 首页 > news >正文

Redis知识点整理

第一部分:Redis基础知识点

  • 1、数据类型
    • 5种常用基础类型:string,hash,list,set,zset – 字符串,Hash表,List顺序集合,Set无序集合,ZSet有序集合
    • 3中特殊类型:bitmap-字节地图, hyperloglog-统计日志,geospatial-地理位置计算
  • 2、底层数据结构
    • String: 基于SDS字典结构
    • Hash表 : 由zipList/quickList组成,底层有Dict保存
    • List集合: 基于LinkedList数据接口的ZipList和QuickList结构
    • Set集合: intSet和Dict组合,其中Dict由Hashtable和DictEntry和Dict组成
    • ZSet集合:HashTable+SkipList+IntSet
    • 说明:
      • ZipList压缩表用于当元素数量小于128时,用于对集合压缩,减少内存占用,但是虽节省内存但是需要连续空间,会造成内存碎片
      • QuickList则在ZipList上使用LinkedList来避免申请连续空间,减少内存碎片产生
      • SkipList跳表则是采用类似于加索引方式,提升查询效率
  • 3、持久化方式
    • rdb快照模式, 数据恢复快,效率高,但是会丢失数据
    • aof命令拼接模式:数据恢复慢,效率低,数据安全
    • 常用RDB+AOF结合方式。
  • 4、内存淘汰策略
    • allkey-lru,allkey-lfu,allkey-random,nonvice,volite-lru,volite-lfu,volite-ttl
    • LRU算法:最近最少使用,
      • 底层原理基于HashTable+LinkedList即Hash表和双向链表实现
      • 即HashTable用于快速查找,LinkedList采用后进先出方式,保证最近访问的放在前面,只淘汰尾部即可
    • LFU算法:最近不频繁使用
      • 底层原理使用RedisObject的lru字段的后半部分保存访问的次数
    • TTL算法:对于设置了存活时间(TTL)的key,TTL值越小,越先淘汰
    • Random算法 :随机算法
  • 5、集群方式
    • 主从模式,哨兵模式,代理分片模式,redis-cluster模式
  • 6、redis常见问题
    • 缓存雪崩,缓存穿透,缓存击穿,bigkey,hotkey,双写一致性
  • 7、redis特性
    • 内存,单线程模型,多路复用,epoll
  • 8、redis锁八大机制
    • 加锁,可重入锁,维持加锁-看门狗机制,锁互斥, 手动释放锁,自动释放锁,加锁超时,超时释放锁
  • 9、过期策略
    • 定时过期,惰性过期,定期过期
  • 10、redis 集群模式
    • 主从模式,哨兵模式,Redis-Clustor
  • 11、Redis为什么快?
    • 内存模式+内存淘汰策略:内存模式保证查询快,内存淘汰保证安全
    • 网络模型
      • RESP协议是CS架构,内部数据结构简单,准确
      • epoll,非阻塞的多路复用,基于信号IO驱动
      • 零拷贝
    • 持久化,保证数据安全性
    • 原子事务
  • 12、Redis的特性
    • 内存,持久化,事务,Io多路服务,Epoll机制

第二部分:Redis实战场景

1、Redis的应用场景
  • 1、分布式缓存:旁路缓存,对象缓存,全页缓存,热点数据缓存
  • 2、分布式锁
  • 3、分布式Session共享
  • 4、分布式唯一ID生成
  • 5、分布式限流
  • 6、计数器
  • 7、排行榜
  • 8、位统计功能:签到打卡,用户留存率,用户活跃度
  • 9、延时操作:
  • 10、点赞,关注和推荐,朋友圈可见
  • 11、消息队列
  • 12、抽奖
  • 13、标签
  • 14、过滤(布隆过滤器),筛选
  • 15、业务处理:交集,差集,并集
2、Redis问题以及解决方案
  • 1、缓存雪崩
    • 原因: 缓存同时过期
    • 方案:
      • (1)加随机过期时间
      • (2)多级缓存
      • (3)限流+读锁
  • 2、缓存穿透
    • 原因:大量访问缓存和数据库不存在数据
    • 方案:
      • (1)访问校验
      • (2)Hash拦截
      • (2)布隆过滤
      • (3)空值缓存
      • (4)混合方式解决,即空值短缓存,频繁请求加校验
  • 3、缓存击穿
    • 原因:热点数据过期
    • 方案:
      • (1)多级缓存
      • (2)不过期
      • (3)加锁
  • 4、热点key问题
    • 原因:热点数据超频繁,造成服务过载
    • 方案:
      • (1)多级缓存
      • (2)集群扩容,分片负载
      • (3)热点分散
  • 5、redis大key问题
    • 原因:Hash,List,set,zset等集合由于时间累积造成key过大
    • 方案:
      • (1)定时过期重建key
      • (2)压缩value
      • (3)拆分bigkey
      • (4)定期检查key移除失效元素,进行瘦身
  • 6、双写一致性问题
    • 原因:高并发场景下缓存和DB更新导致读写不一致问题
    • 方案:
      - 1、更新cache,更新DB-问题:更新DB失败造成脏数据
      - 2、更新DB,更新Cache-问题:更新Cache失败造成脏数据
      - 3、删除cache,更新DB-问题:高并发场景,会读取到未更新DB的脏数据
      - 4、延迟双删,删除Cache,更新DB,删除Cache:一定程度上可以保证,但是
      - 5、更新DB,延迟更新Cache-通过Canol或MQ方式延迟更新Cache,某种方式来说可以解决更新Cache失败问题

第三部分:深入Redis原理

1、Redis数据类型以及应用场景
  • 数据类型
    • string,Hash,List,Set,ZSet,BitMap,Geo,LogLog
  • 使用场景:
    • 分布式缓存(旁路缓存,读写缓存),分布式锁,分布式Session,
    • 计数器,布隆过滤器,限流器
    • 消息队列,秒杀,红包,抽奖.点赞,关注,签到,榜单,
2、持久化机制
  • 持久化方式
    • RDB方式:恢复快,文件小,数据安全低
      • RDB持久化:save指定触发后,redis会fork出一个线程,拷贝出当前运行时副本,成功后
    • AOF方式:内容多,文件大,恢复慢,数据安全高
      • AOF大小触发重做后,redis会fork出一个新线程,拷贝出当前运行时数据副本的保存命令,后再执行增量数据命令
  • 持久化策略
    • 自动保存,手动保存
3、redis锁机制,事务机制,原子性等
  • 锁机制
    • 过程
      • getLock,如果true,则setnx,执行程序,主动释放lock,完成,如果程序超时,通过expire被动释放lock
      • getLock,如果false,则自旋等待已经占有锁线程释放lock
    • 作用:
      • 保证分布式环境下,线程竞争资源的正常运行。
  • 原子性
    • redis的原子操作指令:incr和decr,setnx
    • 自定义实现方式
      • 使用Lua脚本
      • 使用事务+监控方式:
        • 1、监控:watch key,2、事务开始:MULTI,3、定义事务原子操作:SET key 100 4、执行事务: EXEC
  • 事务机制
    • 原子性,一致性,隔离性,持久性,顺序性
    • Redis事务流程
      • 事务开始 MULTI,WATCH,命令入队,取消入队DISCARD,事务执行 EXEC
2、Redis的数据结构
  • SDS 动态字符数组,每个数组由头部,len,freelen组成
  • LinkedList 双向链表结构
  • ZipList 压缩链表结构,集合长度小于512或长度小于64k时采用压缩表结构
  • QuickList 快速链表结构,v3.2以后改进,由linked+ziplist组成,linkedlist保证快速遍历,ziplist保证数据压缩
  • hashtable 哈希表结构,redis全局也是hash表结构
  • skiplist - 跳表结构-结构上结点之间有多个指针,能够根据key快速跳到对应的位置
3、Redis快速的原因
  • 基于内存实现的KV结构,便于快速查找
  • 高效的数据结构和数据编码
  • 单线程模型,避免线程上下文切换
  • 高效的网路传输协议,使用epoll实现IO多路复用机制
  • 高效的内存淘汰机制,保证缓存命中率
4、Redis线程模型,IO模型,网络模型等
  • 线程模型
    • 单线程模型:即网络请求采用单线程,分为文件事件处理器-包括请求连接,命令请求,命令响应
    • 多线程模型:连接,持久化,语法检查
  • 网络Io模型
    • 参考JavaIO模型
  • 多路复用
    • 多路是网络请求多路
    • 复用是处理线程复用
  • 内存模型
    • 本身内存,数据内存,缓冲内存,碎片内存

相关文章:

Redis知识点整理

第一部分:Redis基础知识点 1、数据类型 5种常用基础类型:string,hash,list,set,zset – 字符串,Hash表,List顺序集合,Set无序集合,ZSet有序集合3中特殊类型:bitmap-字节地图, hyperloglog-统计…...

React笔记(一)初识React

一、React概述 1、什么是react react的官网:React 用于构建用户界面的 JavaScript 库,它也是一个渐进式的用于构建用户界面的javascript框架 2、主要特征 声明式:使用原生JS编写的页面存在着开发效率低下、性能较差的情况,使用react大家就…...

C语言——指针进阶(一)

目录 ​编辑 一.字符指针 1.1 基本概念 1.2 面试题 二.指针数组 三.数组指针 3.1 数组指针的定义 3.2 &数组名VS数组名 3.3 数组指针的使用 四.数组参数、指针参数 4.1 一维数组传参 ​编辑 4.2 二维数组传参 4.3 一级指针传参 4.4 二级指针传参 ​编辑 五.…...

【ArcGIS Pro二次开发】(62):复制字段

应网友需求,做了这么一个复制字段的小工具。 假定这样一个场景,手头有一个要素1,要素里有10个字段,另一个要素2,除了shape_area等图形字段外,没有其它字段。 现在的需求是,想把要素1中的8个字…...

【Tkinter系列02/5】界面初步和布局

本文是系列文章第二部分。前文见:【Tkinter系列01/5】界面初步和布局_无水先生的博客-CSDN博客 说明 一般来说,界面开发中,如果不是大型的软件,就不必用QT之类的实现,用Tkinter已经足够,然而即便是Tkinter规…...

2023年03月 C/C++(四级)真题解析#中国电子学会#全国青少年软件编程等级考试

第1题:最佳路径 如下所示的由正整数数字构成的三角形: 7 3 8 8 1 0 2 7 4 4 4 5 2 6 5 从三角形的顶部到底部有很多条不同的路径。对于每条路径,把路径上面的数加起来可以得到一个和,和最大的路径称为最佳路径。你的任务就是求出最佳路径上的…...

介绍一些编程语言— CSS 语言

介绍一些编程语言— CSS 语言 CSS 语言 简介 CSS,层叠样式表,是一种用来表现 HTML 或 XML 等文件样式的计算机语言。CSS 不仅可以静态地修饰网页,还可以配合各种脚本语言动态地对网页各元素进行格式化。 CSS 能够对网页中元素位置的排版进…...

一文讲清楚c/c++中的宏

一文讲清楚c/c中的宏 文章目录 一文讲清楚c/c中的宏一、如何理解这个“宏”字面的意思呢?二、c/c中的宏详解三、宏的使用场景 一、如何理解这个“宏”字面的意思呢? 在刚开始学习C语言的时候,始终有点分不清楚"宏"这个字面上的意思…...

typescript进阶语法

typescript进阶语法 interface 接口定义 interface userType {name:string,age:number,sex?:string }type接口定义 type userType {name:string,age:number,sex?:string } type userType username # 固定值写法 let user:userType age # 报错 只能等于usernamepick摘取…...

宝塔终端 查看 7003端口 占用 并且杀死

要查看端口是否被占用并杀死相关进程,你可以按照以下步骤执行: 打开宝塔面板,进入服务器管理页面。在左侧导航栏中选择「工具」,然后选择「终端」进入宝塔终端界面。输入以下命令查看端口占用情况:netstat -tuln | gr…...

可解释性的相关介绍

一、可解释性的元定义(Meta-definitions of Interpretability) The extent to which an individual can comprehend the cause of a model’s outcome. [1]The degree to which a human can consistently predict a model’s outcome. [2] 可解释性&am…...

AUTOSAR规范与ECU软件开发(实践篇)6.7 服务软件组件与应用层软件组件端口连接

在生成了BSW模块的代码后, 切换到ISOLAR-A系统级设计界面,会发现产生一些基础软件模块的服务软件组件: BswM、 ComM、 Det和EcuM等, 如图6.60所示。 图6.60 生成了BSW后的服务软件组件 此时, 如果涉及服务软件组件与应用层软件组件的交互, 就需要为应用层软件组…...

菜鸟教程《Python 3 教程》笔记(6):列表

菜鸟教程《Python 3 教程》笔记(6) 6 列表6.1 删除列表元素6.2 列表函数和方法6.2.1 max()、min()6.2.2 reverse()6.2.3 sort() 6 列表 出处: 菜鸟教程 - Python3 列表 6.1 删除列表元素 >>> list [Google, Runoob, 1997, 2000]…...

LeetCode-56-合并区间

题目描述: 以数组 intervals 表示若干个区间的集合,其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间,并返回 一个不重叠的区间数组,该数组需恰好覆盖输入中的所有区间 。 可以使用 LinkedList,…...

Git gui教程---番外篇 gitignore 的文件使用

想说的 .gitignore 的文件一般大型的编译器带git的都会生成,他可以将你不想提交的文件在git下忽略掉,你应该不想将一大堆编译生成的过程文件,还有一些贼大的文件提交上git的。 凡是都有例外,一些冥顽不灵的编辑器,只能…...

javaee spring 用注解的方式实现ioc

spring 用注解的方式实现ioc spring核心依赖 <?xml version"1.0" encoding"UTF-8"?><project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"…...

Linux基础(二)

这里写目录标题 一、网络管理1- 网络状态查看1.1 net-tools1.2 iproute2 2- 网络故障排除 &#xff01;step1:检测当前主机和目标主机是否畅通 [ping]step2:检测网络质量,追踪路由 [traceroute]step3:检测网络质量,检查是否有数据包丢失 [mrt]step4: 检查端口是否畅通 [telnet]…...

155. 最小栈(中等系列)

设计一个支持 push &#xff0c;pop &#xff0c;top 操作&#xff0c;并能在常数时间内检索到最小元素的栈。 实现 MinStack 类: MinStack() 初始化堆栈对象。 void push(int val) 将元素val推入堆栈。 void pop() 删除堆栈顶部的元素。 int top() 获取堆栈顶部的元素。 int…...

用python从零开始做一个最简单的小说爬虫带GUI界面(3/3)

目录 上一章内容 前言 出现的一些问题 requests包爬取小说的不便之处 利用aiohttp包来异步爬取小说 介绍 代码 main.py test_1.py test_3.py 代码大致讲解 注意 系列总结 上一章内容 用python从零开始做一个最简单的小说爬虫带GUI界面&#xff08;2/3&#xff09;_…...

SpringBoot+Vue如何写一个HelloWorld

一、SpringBoot介绍 Spring Boot是一个用于创建独立且可执行的Spring应用程序的框架。它简化了基于Spring框架的应用程序的开发过程&#xff0c;并提供了一种快速和简便的方式来构建Java应用程序。 Spring Boot提供了自动配置机制&#xff0c;通过引入适当的依赖项&#xff0…...

linux之kylin系统nginx的安装

一、nginx的作用 1.可做高性能的web服务器 直接处理静态资源&#xff08;HTML/CSS/图片等&#xff09;&#xff0c;响应速度远超传统服务器类似apache支持高并发连接 2.反向代理服务器 隐藏后端服务器IP地址&#xff0c;提高安全性 3.负载均衡服务器 支持多种策略分发流量…...

使用VSCode开发Django指南

使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架&#xff0c;专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用&#xff0c;其中包含三个使用通用基本模板的页面。在此…...

JavaScript 中的 ES|QL:利用 Apache Arrow 工具

作者&#xff1a;来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗&#xff1f;了解下一期 Elasticsearch Engineer 培训的时间吧&#xff01; Elasticsearch 拥有众多新功能&#xff0c;助你为自己…...

el-switch文字内置

el-switch文字内置 效果 vue <div style"color:#ffffff;font-size:14px;float:left;margin-bottom:5px;margin-right:5px;">自动加载</div> <el-switch v-model"value" active-color"#3E99FB" inactive-color"#DCDFE6"…...

WEB3全栈开发——面试专业技能点P2智能合约开发(Solidity)

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

C++:多态机制详解

目录 一. 多态的概念 1.静态多态&#xff08;编译时多态&#xff09; 二.动态多态的定义及实现 1.多态的构成条件 2.虚函数 3.虚函数的重写/覆盖 4.虚函数重写的一些其他问题 1&#xff09;.协变 2&#xff09;.析构函数的重写 5.override 和 final关键字 1&#…...

在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能

1. 开发环境准备 ​​安装DevEco Studio 3.1​​&#xff1a; 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK ​​项目配置​​&#xff1a; // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...

Linux部署私有文件管理系统MinIO

最近需要用到一个文件管理服务&#xff0c;但是又不想花钱&#xff0c;所以就想着自己搭建一个&#xff0c;刚好我们用的一个开源框架已经集成了MinIO&#xff0c;所以就选了这个 我这边对文件服务性能要求不是太高&#xff0c;单机版就可以 安装非常简单&#xff0c;几个命令就…...

mac:大模型系列测试

0 MAC 前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何&#xff0c;是否支持微调、推理速度等能力。下面进入正文。 1 mac 与 unsloth 按照下面的进行安装以及测试&#xff0c;是可以跑通文章里面的代码。训练速度也是很快的。 注意…...

ui框架-文件列表展示

ui框架-文件列表展示 介绍 UI框架的文件列表展示组件&#xff0c;可以展示文件夹&#xff0c;支持列表展示和图标展示模式。组件提供了丰富的功能和可配置选项&#xff0c;适用于文件管理、文件上传等场景。 功能特性 支持列表模式和网格模式的切换展示支持文件和文件夹的层…...