当前位置: 首页 > news >正文

Redis知识点整理

第一部分:Redis基础知识点

  • 1、数据类型
    • 5种常用基础类型:string,hash,list,set,zset – 字符串,Hash表,List顺序集合,Set无序集合,ZSet有序集合
    • 3中特殊类型:bitmap-字节地图, hyperloglog-统计日志,geospatial-地理位置计算
  • 2、底层数据结构
    • String: 基于SDS字典结构
    • Hash表 : 由zipList/quickList组成,底层有Dict保存
    • List集合: 基于LinkedList数据接口的ZipList和QuickList结构
    • Set集合: intSet和Dict组合,其中Dict由Hashtable和DictEntry和Dict组成
    • ZSet集合:HashTable+SkipList+IntSet
    • 说明:
      • ZipList压缩表用于当元素数量小于128时,用于对集合压缩,减少内存占用,但是虽节省内存但是需要连续空间,会造成内存碎片
      • QuickList则在ZipList上使用LinkedList来避免申请连续空间,减少内存碎片产生
      • SkipList跳表则是采用类似于加索引方式,提升查询效率
  • 3、持久化方式
    • rdb快照模式, 数据恢复快,效率高,但是会丢失数据
    • aof命令拼接模式:数据恢复慢,效率低,数据安全
    • 常用RDB+AOF结合方式。
  • 4、内存淘汰策略
    • allkey-lru,allkey-lfu,allkey-random,nonvice,volite-lru,volite-lfu,volite-ttl
    • LRU算法:最近最少使用,
      • 底层原理基于HashTable+LinkedList即Hash表和双向链表实现
      • 即HashTable用于快速查找,LinkedList采用后进先出方式,保证最近访问的放在前面,只淘汰尾部即可
    • LFU算法:最近不频繁使用
      • 底层原理使用RedisObject的lru字段的后半部分保存访问的次数
    • TTL算法:对于设置了存活时间(TTL)的key,TTL值越小,越先淘汰
    • Random算法 :随机算法
  • 5、集群方式
    • 主从模式,哨兵模式,代理分片模式,redis-cluster模式
  • 6、redis常见问题
    • 缓存雪崩,缓存穿透,缓存击穿,bigkey,hotkey,双写一致性
  • 7、redis特性
    • 内存,单线程模型,多路复用,epoll
  • 8、redis锁八大机制
    • 加锁,可重入锁,维持加锁-看门狗机制,锁互斥, 手动释放锁,自动释放锁,加锁超时,超时释放锁
  • 9、过期策略
    • 定时过期,惰性过期,定期过期
  • 10、redis 集群模式
    • 主从模式,哨兵模式,Redis-Clustor
  • 11、Redis为什么快?
    • 内存模式+内存淘汰策略:内存模式保证查询快,内存淘汰保证安全
    • 网络模型
      • RESP协议是CS架构,内部数据结构简单,准确
      • epoll,非阻塞的多路复用,基于信号IO驱动
      • 零拷贝
    • 持久化,保证数据安全性
    • 原子事务
  • 12、Redis的特性
    • 内存,持久化,事务,Io多路服务,Epoll机制

第二部分:Redis实战场景

1、Redis的应用场景
  • 1、分布式缓存:旁路缓存,对象缓存,全页缓存,热点数据缓存
  • 2、分布式锁
  • 3、分布式Session共享
  • 4、分布式唯一ID生成
  • 5、分布式限流
  • 6、计数器
  • 7、排行榜
  • 8、位统计功能:签到打卡,用户留存率,用户活跃度
  • 9、延时操作:
  • 10、点赞,关注和推荐,朋友圈可见
  • 11、消息队列
  • 12、抽奖
  • 13、标签
  • 14、过滤(布隆过滤器),筛选
  • 15、业务处理:交集,差集,并集
2、Redis问题以及解决方案
  • 1、缓存雪崩
    • 原因: 缓存同时过期
    • 方案:
      • (1)加随机过期时间
      • (2)多级缓存
      • (3)限流+读锁
  • 2、缓存穿透
    • 原因:大量访问缓存和数据库不存在数据
    • 方案:
      • (1)访问校验
      • (2)Hash拦截
      • (2)布隆过滤
      • (3)空值缓存
      • (4)混合方式解决,即空值短缓存,频繁请求加校验
  • 3、缓存击穿
    • 原因:热点数据过期
    • 方案:
      • (1)多级缓存
      • (2)不过期
      • (3)加锁
  • 4、热点key问题
    • 原因:热点数据超频繁,造成服务过载
    • 方案:
      • (1)多级缓存
      • (2)集群扩容,分片负载
      • (3)热点分散
  • 5、redis大key问题
    • 原因:Hash,List,set,zset等集合由于时间累积造成key过大
    • 方案:
      • (1)定时过期重建key
      • (2)压缩value
      • (3)拆分bigkey
      • (4)定期检查key移除失效元素,进行瘦身
  • 6、双写一致性问题
    • 原因:高并发场景下缓存和DB更新导致读写不一致问题
    • 方案:
      - 1、更新cache,更新DB-问题:更新DB失败造成脏数据
      - 2、更新DB,更新Cache-问题:更新Cache失败造成脏数据
      - 3、删除cache,更新DB-问题:高并发场景,会读取到未更新DB的脏数据
      - 4、延迟双删,删除Cache,更新DB,删除Cache:一定程度上可以保证,但是
      - 5、更新DB,延迟更新Cache-通过Canol或MQ方式延迟更新Cache,某种方式来说可以解决更新Cache失败问题

第三部分:深入Redis原理

1、Redis数据类型以及应用场景
  • 数据类型
    • string,Hash,List,Set,ZSet,BitMap,Geo,LogLog
  • 使用场景:
    • 分布式缓存(旁路缓存,读写缓存),分布式锁,分布式Session,
    • 计数器,布隆过滤器,限流器
    • 消息队列,秒杀,红包,抽奖.点赞,关注,签到,榜单,
2、持久化机制
  • 持久化方式
    • RDB方式:恢复快,文件小,数据安全低
      • RDB持久化:save指定触发后,redis会fork出一个线程,拷贝出当前运行时副本,成功后
    • AOF方式:内容多,文件大,恢复慢,数据安全高
      • AOF大小触发重做后,redis会fork出一个新线程,拷贝出当前运行时数据副本的保存命令,后再执行增量数据命令
  • 持久化策略
    • 自动保存,手动保存
3、redis锁机制,事务机制,原子性等
  • 锁机制
    • 过程
      • getLock,如果true,则setnx,执行程序,主动释放lock,完成,如果程序超时,通过expire被动释放lock
      • getLock,如果false,则自旋等待已经占有锁线程释放lock
    • 作用:
      • 保证分布式环境下,线程竞争资源的正常运行。
  • 原子性
    • redis的原子操作指令:incr和decr,setnx
    • 自定义实现方式
      • 使用Lua脚本
      • 使用事务+监控方式:
        • 1、监控:watch key,2、事务开始:MULTI,3、定义事务原子操作:SET key 100 4、执行事务: EXEC
  • 事务机制
    • 原子性,一致性,隔离性,持久性,顺序性
    • Redis事务流程
      • 事务开始 MULTI,WATCH,命令入队,取消入队DISCARD,事务执行 EXEC
2、Redis的数据结构
  • SDS 动态字符数组,每个数组由头部,len,freelen组成
  • LinkedList 双向链表结构
  • ZipList 压缩链表结构,集合长度小于512或长度小于64k时采用压缩表结构
  • QuickList 快速链表结构,v3.2以后改进,由linked+ziplist组成,linkedlist保证快速遍历,ziplist保证数据压缩
  • hashtable 哈希表结构,redis全局也是hash表结构
  • skiplist - 跳表结构-结构上结点之间有多个指针,能够根据key快速跳到对应的位置
3、Redis快速的原因
  • 基于内存实现的KV结构,便于快速查找
  • 高效的数据结构和数据编码
  • 单线程模型,避免线程上下文切换
  • 高效的网路传输协议,使用epoll实现IO多路复用机制
  • 高效的内存淘汰机制,保证缓存命中率
4、Redis线程模型,IO模型,网络模型等
  • 线程模型
    • 单线程模型:即网络请求采用单线程,分为文件事件处理器-包括请求连接,命令请求,命令响应
    • 多线程模型:连接,持久化,语法检查
  • 网络Io模型
    • 参考JavaIO模型
  • 多路复用
    • 多路是网络请求多路
    • 复用是处理线程复用
  • 内存模型
    • 本身内存,数据内存,缓冲内存,碎片内存

相关文章:

Redis知识点整理

第一部分:Redis基础知识点 1、数据类型 5种常用基础类型:string,hash,list,set,zset – 字符串,Hash表,List顺序集合,Set无序集合,ZSet有序集合3中特殊类型:bitmap-字节地图, hyperloglog-统计…...

React笔记(一)初识React

一、React概述 1、什么是react react的官网:React 用于构建用户界面的 JavaScript 库,它也是一个渐进式的用于构建用户界面的javascript框架 2、主要特征 声明式:使用原生JS编写的页面存在着开发效率低下、性能较差的情况,使用react大家就…...

C语言——指针进阶(一)

目录 ​编辑 一.字符指针 1.1 基本概念 1.2 面试题 二.指针数组 三.数组指针 3.1 数组指针的定义 3.2 &数组名VS数组名 3.3 数组指针的使用 四.数组参数、指针参数 4.1 一维数组传参 ​编辑 4.2 二维数组传参 4.3 一级指针传参 4.4 二级指针传参 ​编辑 五.…...

【ArcGIS Pro二次开发】(62):复制字段

应网友需求,做了这么一个复制字段的小工具。 假定这样一个场景,手头有一个要素1,要素里有10个字段,另一个要素2,除了shape_area等图形字段外,没有其它字段。 现在的需求是,想把要素1中的8个字…...

【Tkinter系列02/5】界面初步和布局

本文是系列文章第二部分。前文见:【Tkinter系列01/5】界面初步和布局_无水先生的博客-CSDN博客 说明 一般来说,界面开发中,如果不是大型的软件,就不必用QT之类的实现,用Tkinter已经足够,然而即便是Tkinter规…...

2023年03月 C/C++(四级)真题解析#中国电子学会#全国青少年软件编程等级考试

第1题:最佳路径 如下所示的由正整数数字构成的三角形: 7 3 8 8 1 0 2 7 4 4 4 5 2 6 5 从三角形的顶部到底部有很多条不同的路径。对于每条路径,把路径上面的数加起来可以得到一个和,和最大的路径称为最佳路径。你的任务就是求出最佳路径上的…...

介绍一些编程语言— CSS 语言

介绍一些编程语言— CSS 语言 CSS 语言 简介 CSS,层叠样式表,是一种用来表现 HTML 或 XML 等文件样式的计算机语言。CSS 不仅可以静态地修饰网页,还可以配合各种脚本语言动态地对网页各元素进行格式化。 CSS 能够对网页中元素位置的排版进…...

一文讲清楚c/c++中的宏

一文讲清楚c/c中的宏 文章目录 一文讲清楚c/c中的宏一、如何理解这个“宏”字面的意思呢?二、c/c中的宏详解三、宏的使用场景 一、如何理解这个“宏”字面的意思呢? 在刚开始学习C语言的时候,始终有点分不清楚"宏"这个字面上的意思…...

typescript进阶语法

typescript进阶语法 interface 接口定义 interface userType {name:string,age:number,sex?:string }type接口定义 type userType {name:string,age:number,sex?:string } type userType username # 固定值写法 let user:userType age # 报错 只能等于usernamepick摘取…...

宝塔终端 查看 7003端口 占用 并且杀死

要查看端口是否被占用并杀死相关进程,你可以按照以下步骤执行: 打开宝塔面板,进入服务器管理页面。在左侧导航栏中选择「工具」,然后选择「终端」进入宝塔终端界面。输入以下命令查看端口占用情况:netstat -tuln | gr…...

可解释性的相关介绍

一、可解释性的元定义(Meta-definitions of Interpretability) The extent to which an individual can comprehend the cause of a model’s outcome. [1]The degree to which a human can consistently predict a model’s outcome. [2] 可解释性&am…...

AUTOSAR规范与ECU软件开发(实践篇)6.7 服务软件组件与应用层软件组件端口连接

在生成了BSW模块的代码后, 切换到ISOLAR-A系统级设计界面,会发现产生一些基础软件模块的服务软件组件: BswM、 ComM、 Det和EcuM等, 如图6.60所示。 图6.60 生成了BSW后的服务软件组件 此时, 如果涉及服务软件组件与应用层软件组件的交互, 就需要为应用层软件组…...

菜鸟教程《Python 3 教程》笔记(6):列表

菜鸟教程《Python 3 教程》笔记(6) 6 列表6.1 删除列表元素6.2 列表函数和方法6.2.1 max()、min()6.2.2 reverse()6.2.3 sort() 6 列表 出处: 菜鸟教程 - Python3 列表 6.1 删除列表元素 >>> list [Google, Runoob, 1997, 2000]…...

LeetCode-56-合并区间

题目描述: 以数组 intervals 表示若干个区间的集合,其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间,并返回 一个不重叠的区间数组,该数组需恰好覆盖输入中的所有区间 。 可以使用 LinkedList,…...

Git gui教程---番外篇 gitignore 的文件使用

想说的 .gitignore 的文件一般大型的编译器带git的都会生成,他可以将你不想提交的文件在git下忽略掉,你应该不想将一大堆编译生成的过程文件,还有一些贼大的文件提交上git的。 凡是都有例外,一些冥顽不灵的编辑器,只能…...

javaee spring 用注解的方式实现ioc

spring 用注解的方式实现ioc spring核心依赖 <?xml version"1.0" encoding"UTF-8"?><project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"…...

Linux基础(二)

这里写目录标题 一、网络管理1- 网络状态查看1.1 net-tools1.2 iproute2 2- 网络故障排除 &#xff01;step1:检测当前主机和目标主机是否畅通 [ping]step2:检测网络质量,追踪路由 [traceroute]step3:检测网络质量,检查是否有数据包丢失 [mrt]step4: 检查端口是否畅通 [telnet]…...

155. 最小栈(中等系列)

设计一个支持 push &#xff0c;pop &#xff0c;top 操作&#xff0c;并能在常数时间内检索到最小元素的栈。 实现 MinStack 类: MinStack() 初始化堆栈对象。 void push(int val) 将元素val推入堆栈。 void pop() 删除堆栈顶部的元素。 int top() 获取堆栈顶部的元素。 int…...

用python从零开始做一个最简单的小说爬虫带GUI界面(3/3)

目录 上一章内容 前言 出现的一些问题 requests包爬取小说的不便之处 利用aiohttp包来异步爬取小说 介绍 代码 main.py test_1.py test_3.py 代码大致讲解 注意 系列总结 上一章内容 用python从零开始做一个最简单的小说爬虫带GUI界面&#xff08;2/3&#xff09;_…...

SpringBoot+Vue如何写一个HelloWorld

一、SpringBoot介绍 Spring Boot是一个用于创建独立且可执行的Spring应用程序的框架。它简化了基于Spring框架的应用程序的开发过程&#xff0c;并提供了一种快速和简便的方式来构建Java应用程序。 Spring Boot提供了自动配置机制&#xff0c;通过引入适当的依赖项&#xff0…...

前端倒计时误差!

提示:记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来?二、五大解决方案1. 动态校准法(基础版)2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

质量体系的重要

质量体系是为确保产品、服务或过程质量满足规定要求&#xff0c;由相互关联的要素构成的有机整体。其核心内容可归纳为以下五个方面&#xff1a; &#x1f3db;️ 一、组织架构与职责 质量体系明确组织内各部门、岗位的职责与权限&#xff0c;形成层级清晰的管理网络&#xf…...

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试&#xff0c;通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小&#xff0c;增大可提高计算复杂度duration: 测试持续时间&#xff08;秒&…...

Java入门学习详细版(一)

大家好&#xff0c;Java 学习是一个系统学习的过程&#xff0c;核心原则就是“理论 实践 坚持”&#xff0c;并且需循序渐进&#xff0c;不可过于着急&#xff0c;本篇文章推出的这份详细入门学习资料将带大家从零基础开始&#xff0c;逐步掌握 Java 的核心概念和编程技能。 …...

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控,故障处理工具

第2章 虚拟机性能监控&#xff0c;故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令&#xff1a;jps [options] [hostid] 功能&#xff1a;本地虚拟机进程显示进程ID&#xff08;与ps相同&#xff09;&#xff0c;可同时显示主类&#x…...

基于matlab策略迭代和值迭代法的动态规划

经典的基于策略迭代和值迭代法的动态规划matlab代码&#xff0c;实现机器人的最优运输 Dynamic-Programming-master/Environment.pdf , 104724 Dynamic-Programming-master/README.md , 506 Dynamic-Programming-master/generalizedPolicyIteration.m , 1970 Dynamic-Programm…...

面向无人机海岸带生态系统监测的语义分割基准数据集

描述&#xff1a;海岸带生态系统的监测是维护生态平衡和可持续发展的重要任务。语义分割技术在遥感影像中的应用为海岸带生态系统的精准监测提供了有效手段。然而&#xff0c;目前该领域仍面临一个挑战&#xff0c;即缺乏公开的专门面向海岸带生态系统的语义分割基准数据集。受…...

Kafka入门-生产者

生产者 生产者发送流程&#xff1a; 延迟时间为0ms时&#xff0c;也就意味着每当有数据就会直接发送 异步发送API 异步发送和同步发送的不同在于&#xff1a;异步发送不需要等待结果&#xff0c;同步发送必须等待结果才能进行下一步发送。 普通异步发送 首先导入所需的k…...

安卓基础(Java 和 Gradle 版本)

1. 设置项目的 JDK 版本 方法1&#xff1a;通过 Project Structure File → Project Structure... (或按 CtrlAltShiftS) 左侧选择 SDK Location 在 Gradle Settings 部分&#xff0c;设置 Gradle JDK 方法2&#xff1a;通过 Settings File → Settings... (或 CtrlAltS)…...

通过 Ansible 在 Windows 2022 上安装 IIS Web 服务器

拓扑结构 这是一个用于通过 Ansible 部署 IIS Web 服务器的实验室拓扑。 前提条件&#xff1a; 在被管理的节点上安装WinRm 准备一张自签名的证书 开放防火墙入站tcp 5985 5986端口 准备自签名证书 PS C:\Users\azureuser> $cert New-SelfSignedCertificate -DnsName &…...