当前位置: 首页 > news >正文

腾讯云架构师亲码“redis深度笔记”,从入门到精通,面面俱到

前言

作为这个时代码代码的秃头人员,对Redis肯定是不陌生的,如果连Redis都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。

毕竟现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要使用,可见精通Redis使用真的很有必要。

所以,今天则分享出腾讯云大神亲自码出的“redis深度笔记”,笔记内容没有讲一句废话,全篇看下来都是精华!

说明:文章限于篇幅,故只做部分展示,完整的文档 LZ 已经整理好了,需要获取这份学习笔记的小伙伴可以添加上小助手vx:bjmsb15获取

PART1:Redis深度笔记开篇

1.Redis可以用来做什么?

  • 由Redis面试想到的
  • Redis可以做什么?

2.Redis基础数据结构

  • Redis安装
  • Redis基础的数据结构
  • 容器型数据结构的通用规则
  • 关于Redis使用的一些思考

PART2:Redis的应用总结

1.分布式锁

  • 分布式锁
  • 超时问题
  • 可重入性

2.延时队列

  • 异步消息队列?
  • 队列空了怎么办?
  • 队列延迟
  • 空闲连接自动断开
  • 锁冲突处理
  • 延时队列的实现
  • 进一步优化

3.位图

  • 基本使用
  • 统计和查找
  • 魔术指令 bitfield

4.HyperLogLog

  • 使用方法
  • pfadd这个pf是什么意思?
  • pfmerge适合什么场合用?
  • 注意事项
  • HyperLogLog实现原理
  • pf的内存占用为什么是12k?

5.布隆过滤器

  • 布隆过滤器是什么?
  • Redis中的布隆过滤器
  • 布隆过滤器的基本使用
  • 注意事项
  • 布隆过滤器的原理
  • 空间占用估计
  • 实际元素超出时,误判率会怎样变化?
  • 用不上Redis4.0怎么办?
  • 布隆过滤器的其他应用

6.简单限流

  • 如何使用Redis来实现简单限流策略?

7.漏斗限流

  • Redis-Cell
  • 一些思考

8.GeoHash

  • 用数据库来算附近的人
  • GeoHash算法
  • Redis的Geo指令基本使用

9.Scan

  • scan基础使用
  • 字典的结构
  • scan遍历顺序
  • 字典扩容
  • 对比扩容缩容前后的遍历顺序
  • 渐进式rehash
  • 更多的scan指令
  • 大Key扫描

PART3:Redis的原理

1.线程IO模型

  • 非阻塞IO
  • 事件轮询(多路复用)
  • 指令队列
  • 响应队列
  • 定时任务

2.通信协议

  • RESP(Redis Serialization Protocol)
  • 客户端->服务端
  • 服务端->客户端

3.持久化

  • 快照原理
  • fork(多进程)
  • AOF原理
  • AOF重写
  • fsync
  • 运维
  • Redis4.0混合持久化

4.管道

  • Redis的消息交互
  • 管道压力测试
  • 深入理解管道本质

5.事务

  • Redis事务的基本使用
  • 原子性
  • discard(丢弃)
  • 优化
  • Watch

6.PubSub

  • 消息多播
  • PubSub
  • 模式订阅
  • 消息结构
  • PubSub缺点

7.小对象压缩

  • 32bit vs 64bit
  • 小对象压缩存储(ziplist)
  • 内存回收机制
  • 内存分配算法

8.主从同步

  • CAP原理
  • 最终一致
  • 主从同步
  • 增量同步
  • 快照同步
  • 增加从节点
  • 无盘复制
  • Wait指令

PART4:Redis集群

1.Sentinel

  • 消息丢失
  • Sentinel基本使用

2.Codis

  • Codis分片原理
  • 不同的Codis实例之间槽位关系如何同步?
  • 扩容
  • 自动均衡
  • Codis的代价
  • Codis的优点
  • MGET指令的操作过程
  • 架构变迁
  • Codis的尴尬
  • Codis的后台管理

3.Cluster

  • 槽位定位算法
  • 跳转
  • 迁移
  • 容错
  • 网络抖动
  • 可能下线(PFAIL-Possibly Fail)与确定下线(Fail)
  • Cluster基本使用
  • 槽位迁移感知
  • 集群变更感知

PART5:Redis拓展

1.Stream

  • 消息ID
  • 消息内容
  • 增删改查
  • 独立消费
  • 创建消费组
  • 消费
  • Stream消息太多怎么办?
  • 消息如果忘记ACK会怎样?
  • PEL如何避免消息丢失?
  • Stream的高可用
  • 分区Partition

http://2.Info指令

  • Redis每秒执行多少次指令?
  • Redis连接了多少客户端?
  • Redisn内存占用多大?
  • 复制积压缓存区多大?

3.再谈分布式锁

  • Redlock算法
  • Redlock使用场景

4.过期策略

  • 过期的key集合
  • 定时扫描策略
  • 从库的过期策略

5.LRU

  • LRU算法
  • 近似LRU算法

6.懒惰删除

  • Redis为什么要懒惰删除(lazy free)?
  • flush
  • 异步队列
  • AOF Sync也很慢
  • 更多异步删除点

7.优雅地使用Jedis

  • 重试

8.保护Redis

  • 指令安全
  • 端口安全
  • Lua脚本安全
  • SSL代理

9.Redis安全通信

  • spiped原理
  • spiped使用入门

PART6:源码

1.探索字符串内部结构

  • embstr vs raw
  • 扩容策略

2.探索字典内部

  • dict 内部结构
  • 渐进式rehash
  • 查找过程
  • hash 函数
  • hash攻击
  • 扩容条件
  • 缩容条件
  • set的结构

3.探索压缩列表内部

  • 增加元素
  • 级联更新
  • IntSet 小整数集合

4.探索快速列表内部

  • 每个ziplist存多少元素?
  • 压缩深度

5.探索跳跃列表内部结构

  • 基本结构
  • 查找过程
  • 随机层数
  • 插入过程
  • 删除过程
  • 更新过程
  • 如果score值都一样呢?
  • 元素排名是怎么算出来的?

6.探索紧凑列表内部

  • 级联更新
  • 取代ziplist

7.探索基数树内部

  • 应用
  • 结构
  • 增删节点

总结

最后,我想说的是,学习并非难事,而贵在坚持,尤其是在我们参与工作之后,要继续坚持学习就更不容易了。但对于程序员来说,学习是立业之根本,如若放弃学习,被市场淘汰是迟早的事情。所以,学习更多新的知识对于自己来说才是一种更大的投资。

以上,到此结束。

相关文章:

腾讯云架构师亲码“redis深度笔记”,从入门到精通,面面俱到

前言 作为这个时代码代码的秃头人员,对Redis肯定是不陌生的,如果连Redis都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。 毕竟现在互联网公司和一些创业公司都要用到Redis,像亚马逊、谷歌、阿里、腾讯都要…...

萌新应该如何开始学习走向自动化测试高薪岗位?

对于测试人员来说,不管进行功能测试还是自动化测试,还是性能测试,都是需要编写测试用例,所以我们必须先要了解清楚手工测试用例与自动化测试用例的一些特点,才能更好的开展自动化测试工作。1.1手工测试用例和自动化测试…...

-bash: pip: command not found

背景 这个错误的原因就是,我们的服务器上没有安装pip,装上就可以了,下面我们看一下centos中的解决方案 下载 wget https://bootstrap.pypa.io/get-pip.py 下载完成后如下图: 安装 安装的时候首先需要看一下自己的python是什…...

使用HTTP隧道代理,请求超过频率要怎么办?

在网上,经常会看到有人说使用隧道代理经常遇到429错误(请求超过频率),我们要如何解决这一问题呢?通常情况,优质的HTTP代理厂商隧道代理服务器采用的是高性能主机构建的动态IP代理服务器,是可以支…...

paddle 49 ODConv的可部署调整

ODConv是一种适用于轻量化模型的conv结构,可以在较少的参数下训练出多参数模型才能达到的精度,在相同的flop下可以稳定的涨2-3%个点。但是在paddle下部署ODConv动态卷积模型时会报出各种异常,导致模型无法转静态图或onnx格式(可能在pytorch下也是无法转换的)。为此研究ODC…...

C++ STL 学习之【string】

✨个人主页: Yohifo 🎉所属专栏: C修行之路 🎊每篇一句: 图片来源 The key is to keep company only with people who uplift you, whose presence calls forth your best. 关键是只与那些提升你的人在一起&#xff0c…...

使用开源 MaxKey 与 APISIX 网关保护你的 API

1. Apache APISIX介绍 Apache APISIX 是 Apache 软件基金会下的云原生 API 网关,它兼具动态、实时、高性能等特点,提供了负载均衡、动态上游、灰度发布(金丝雀发布)、服务熔断、身份认证、可观测性等丰富的流量管理功能。我们可以…...

Linux之Xshell工具使用

shell简介Xshell是一个远程工具,可以远程连接linux系统 ,SSH,远程管理 Xshell来远程访问Linux系统的终端 。shell的英文含义是“壳”;它是相对于内核来说的,因为它是建立在内核的基础上,面向于用户的一种表…...

【数据结构与算法】时间复杂度与空间复杂度

目录 一.前言 二.时间复杂度 1.概念 二.大O的渐进表示法 概念: 总结: 三.常见时间复杂度计算举例 例1 例2 例3 例4 例5.计算冒泡排序的时间复杂度 例6.二分算法的时间复杂度 例7.阶乘递归Fac的时间复杂度 例8.斐波那契递归的时间复杂度 …...

Nginx如何配置Http、Https、WS、WSS的方法步骤

这篇文章主要介绍了Nginx如何配置Http、Https、WS、WSS的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧 写在前面 当今互联网领域,Nginx是使…...

【博客621】iptables -J动作总结

iptables -J动作总结 1、iptables常见动作 ACCEPTDROPREJECTLOGSNATDNATMASQUERADEREDIRECT 2、iptables常见动作用法 2-1、ACCEPT: 作用:用于接收匹配的流量,使得流量继续往后面的规则和链路去匹配 2-2、DROP 作用:用于丢弃匹…...

Chrome开发者工具:利用网络面板做性能分析

Chrome 开发者工具(简称 DevTools)是一组网页制作和调试的工具,内嵌于 Google Chrome 浏览器中。 Chrome 开发者工具有很多重要的面板,比如与性能相关的有网络面板、Performance 面板、内存面板等,与调试页面相关的有…...

SpringCloud系列(十三)[分布式搜索引擎篇] - ElasticSearch 的概念及 Centos 7 下详细安装步骤

打开淘宝, 搜索 狂飙 会出现各种价格有关狂飙的书籍, 当然也有高启强同款的孙子兵法!!! 如下图所示: 那么面对海量的数据, 如何快速且准确的找到我们想要的内容呢? 淘宝界面已经可以按照综合排序 / 销量 / 信用 / 价格等进行筛选, 是如何做到的呢? ElasticSearch 11 Elastic…...

04_Docker 镜像和仓库

04_Docker 镜像和仓库 文章目录04_Docker 镜像和仓库4.1 什么是 Docker 镜像4.2 列出 Docker 镜像4.3 拉取镜像4.4 查找镜像4.5 构建镜像4.5.1 创建 Docker Hub 账号4.5.2 用 Docker 的 commit 命令创建镜像4.5.3 用 Dockerfile 构建镜像4.5.5 基于 Dockerfile 构建新镜像4.5.5…...

postman-enterprise-API

Postman 是一个用于构建和使用 API 的 API 平台。Postman 简化了 API 生命周期的每个步骤并简化了协作,因此您可以更快地创建更好的 API。 API存储库 在一个中央平台上围绕您的所有 API 工件轻松存储、编目和协作。Postman 可以存储和管理 API 规范、文档、工作流配…...

【ESP 保姆级教程】玩转emqx MQTT篇② ——保留消息和遗嘱消息

忘记过去,超越自己 ❤️ 博客主页 单片机菜鸟哥,一个野生非专业硬件IOT爱好者 ❤️❤️ 本篇创建记录 2023-02-18 ❤️❤️ 本篇更新记录 2023-02-18 ❤️🎉 欢迎关注 🔎点赞 👍收藏 ⭐️留言📝🙏 此博客均由博主单独编写,不存在任何商业团队运营,如发现错误,请…...

开启慢查询日志方法

步骤 开启慢查询日志 SET GLOBAL slow_query_log on;SHOW VARIABLES like slow_query_log;设置时间限制 SET GLOBAL long_query_time 1; -- 单位sSHOW VARIABLES LIKE %long_query_time%;因为long_query_time参数只对新的数据库连接生效,所以还需要重启msql客户端…...

宝塔搭建实战人才求职管理系统admin前端vue源码(二)

大家好啊,我是测评君,欢迎来到web测评。 上一期给大家分享骑士cms后台端在宝塔的搭建部署方式,这套系统是前后端分离的架构,前端是用vue2开发的,还需要在本地打包手动发布上宝塔,所以本期给大家分享&#x…...

SpringMVC——基础知识

基本概念 SpringMVC是基于servlet api构造的原始web框架,全称是Spring Web MVC 而MVC的全称是Model View Controller,翻译成中文分别是“模型”,“视图”,“控制器”,这是一种软件的架构模式 Model:用来…...

论文浅尝 | SpCQL: 一个自然语言转换Cypher的语义解析数据集

笔记整理:郭爱博,国防科技大学博士论文发表会议:The 31th ACM International Conference on Information and Knowledge Management,CIKM 2022动机随着社交、电子商务、金融等行业的快速发展,现实世界编织出一张庞大而…...

MongoDB 使用规范与限制及最佳实践

MongoDB 灵活文档的优势 灵活库/集合命名及字段增减同一字段可存储不同类型数据Json 文档可多层次嵌套文档对于开发而言最自然的表达 MongoDB 灵活文档的烦恼 数据库集合字段名千奇百怪同一字段数据类型各不一样业务异常可能写入“脏”数据 1.1 库命名规范 不能为空字符串 &…...

第五十六章 树状数组(一)

第五十六章 树状数组一、前缀和的缺陷二、树状数组1、作用2、算法分析3、算法实现(1)lowbits()(2)插入(3)查询三、例题1、问题题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1提示2、代码一、前缀和…...

kubernetes教程 --Pod控制器详解

Pod控制器详解 介绍 Pod是kubernetes的最小管理单元,在kubernetes中,按照pod的创建方式可以将其分为两类: 自主式pod:kubernetes直接创建出来的Pod,这种pod删除后就没有了,也不会重建控制器创建的pod&am…...

N2750A Agilent Keysight HP 差分探头1.5GHz

N2750A Agilent Keysight HP 差分探头13554860890 N2750A 是 Agilent Keysight HP 的 1.5 GHz 差分探头。 特征: N2750A:1.5 GHz 衰减比:2:1 或 10:1(可切换) 动态范围: 5 V 或 10 Vpp(10:1 时…...

一文搞懂Linux内核进程CPU调度基本原理

为什么需要调度 进程调度的概念比较简单,我们假设在一个单核处理器的系统中,同一时刻只有一个进程可以拥有处理器资源,那么其他的进程只能在就绪队列中等待,等到处理器空闲之后才有计划获得处理器资源来运行。在这种场景下&#…...

java ssm爱宠宠物医院挂号预约系统管理系统设计与实现

本课题所实现的宠物医院网站是基于网页,它可以实现网上预约挂号,评价等基本功能。用户只要手边有一部手机或者一台电脑,可以上网浏览网页,便可以使用本系统,没有时间和地点的限制,使得就医预约,…...

自动化测试工具_Jmeter

【课程简介】 接口测试是测试系统组件间接口的一种测试,接口测试天生为高复杂性的平台带来高效的缺陷监测和质量监督能力,平台越复杂,系统越庞大,接口测试的效果越明显。在接口测试大行其道的今天,测试工具也愈发重要,Jmeter作为一款纯 Java 开发的测试…...

不是所有人都适合职场

一个读者的提问: 洋哥,我目前工作五年在一家大厂,属于那种什么事情上手都很快的人,并且搞定新问题能产生沉浸般的快感。我的本职是程序员,但运营思路产品方法也都会一些,甚至有时候提出的方案效果比产品&a…...

JSP 和 JSTL

文章目录🍓摘要🍓一、JSP🍉1.1 JSP的基础语法🍫1.1.1 简介🍫1.1.2 依赖🍫1.1.3 注释🍫1.1.4 Scriptlet 脚本🍉1.2 JSP的指令标签🍫1.2.1 include 静态包含🍫1…...

数据分析| Pandas200道练习题,使用Pandas连接MySQL数据库

文章目录使用Pandas连接数据库编码环境依赖包read_sql_query()的使用read_sql_table()的使用read_sql() 函数的使用to_sql()写入数据库的操作删除操作更新操作总结:使用Pandas连接数据库 通过pandas实现数据库的读,写操作时,首先需要进行数据…...

房地产最新消息利好/中国seo

问题描述process p null;p runtime.getruntime().exec(“/system/xbin/su”)P.getOutPutStream();请问,这几行代码是什么意思啊 解决方案1/system/xbin/su 执行su这个命令,然后得到输出流。 可能是想root一下。 转载于:https:/…...

wordpress登录界面能改吗/企业网站制作开发

文章目录一. 用户关系重新梳理二. 功能分析2.1 普通用户写日报2.2 查日报2.3 普通用户查日报2.4 boss查全体成员日报一. 用户关系重新梳理 考虑到日报系统的多部门多用户多boss情况, 下面分情况讨论 用户部门职位A部门1bossB部门1bossC部门1员工D部门1员工E部门1员工F部门1员…...

厦门网站排名/百度网盘在线登录入口

百度定位偶尔会出现定到非洲的现象,一开始我以为是GPS信号不太好的原因,后来出现的次数有点多了,上网查找才发现是权限不够的原因 官网地址http://lbsyun.baidu.com/index.php?titleandroid-locsdk/guide/create-project/android-studio 注意…...

企业网站要更新文章吗/推广的渠道和方法有哪些

编辑:ll ASEMI代理MC34PF3001A7EP原装现货NXP车规级MC34PF3001A7EP 型号:MC34PF3001A7EP 品牌:NXP /恩智浦 封装:QFN-48 批号:2023 安装类型:表面贴装型 引脚数量:48 类型:集…...

wordpress添加端口访问不了/软文大全

1.C#中的垃圾回收机制是怎样的?垃圾回收器是用来管理应用程序的内存分配和释放的。当一个应用程序在运行的时候,垃圾回收器设置了一个托管堆。每次当开发人员使用 new 运算符创建对象时,运行库都从托管堆为该对象分配内存。新创建的对象被放在…...

品牌网站建设解决/外贸网站模板

危险函数 mixed eval (string $code) 把字符串作为PHP代码执行bool assert (mixed $assertion [,string $description]) 替代eval函数。相同功能。mixed preg_replace(mixed $pattern,mixed $replacement,mixed $subject[,int $limit-1 [,int&$count]])/e修正符使preg_rep…...