面试系列 - Redis持久化机制详解
目录
一、Redis 持久化机制
二、混合使用 RDB 和 AOF
三、 RDB(Redis DataBase)详解
四、AOF(Append-Only File)详解
Redis 是一个内存数据库,为了持久化数据以确保数据不会在服务器重启时丢失,Redis 提供了两种主要的持久化机制。
一、Redis 持久化机制
-
RDB 快照持久化: RDB 持久化是将 Redis 数据库的状态保存到磁盘文件的一种方式。它可以根据配置的条件自动定期进行快照,也可以手动触发。RDB 文件是二进制的,可以轻松地在不同的 Redis 实例之间复制和迁移。
-
触发快照: RDB 快照可以通过执行 SAVE 或 BGSAVE 命令来触发。SAVE 命令会阻塞 Redis 服务器,而 BGSAVE 命令在后台执行。
-
配置条件: 您可以在配置文件中设置 RDB 持久化的条件,例如在一定时间内有多少次写操作,或者在一定时间内有多少字节的数据发生变化时执行快照。
-
恢复: 在服务器启动时,Redis 可以加载最近的 RDB 文件以还原数据。
-
-
AOF 日志持久化: AOF(Append-Only File)持久化是将每个写操作以追加的方式写入一个日志文件。这个文件包含了将数据库状态从空文件还原到当前状态所需的所有写操作。AOF 文件是一个文本文件,易于查看和修复。
-
持久化方式: Redis 支持三种 AOF 持久化方式:关闭(no)、每个写命令(everysec)和每个写命令并同步到磁盘(always)。"everysec" 是最常用的方式,它将写入操作每秒同步到磁盘一次,提供良好的持久化性能和数据安全性。
-
重写: Redis 还支持 AOF 文件的重写,通过删除冗余的写操作来减小 AOF 文件的体积。
-
恢复: 在服务器启动时,Redis 会重新执行 AOF 文件中的写操作来还原数据库状态。
-
二、混合使用 RDB 和 AOF
混合使用 RDB 和 AOF 持久化是一种常见的做法,可以充分利用两种持久化机制的优势,同时提供灵活的数据备份和恢复策略。以下是一些常见的方式来混合使用 RDB 和 AOF 持久化:
-
同时启用 RDB 和 AOF: 这是最简单的方式。您可以在 Redis 的配置文件中同时启用 RDB 和 AOF 持久化。这样,在每次触发 RDB 快照时,同时也会将写操作追加到 AOF 文件中。这提供了快速的数据恢复和较低的持久化延迟。
save 900 1 # 在900秒内,如果至少有1个键发生变化,则执行快照 appendonly yes # 启用 AOF 持久化 -
使用 RDB 进行周期性备份,同时启用 AOF 持久化: 在这种方式下,您可以配置 Redis 定期执行 RDB 快照,例如每小时一次,以备份数据。与此同时,启用 AOF 持久化来记录所有写操作,以提供实时的数据持久化和恢复。这种方式在需要定期备份数据的情况下尤其有用。
save 3600 1 # 每小时执行一次 RDB 快照 appendonly yes # 启用 AOF 持久化 -
使用 RDB 备份,AOF 作为实时数据记录: 在这种方式下,您可以仅配置 RDB 快照以备份数据,而 AOF 仅用于实时记录写操作。这种方式适用于需要快速恢复数据的情况,因为 RDB 恢复速度比 AOF 快。
save 900 1 # 在900秒内,如果至少有1个键发生变化,则执行快照 appendonly yes # 启用 AOF 持久化,但只用于记录写操作 -
定期重写 AOF 文件: 为了减小 AOF 文件的体积,您可以定期执行 AOF 文件的重写。这会删除冗余的写操作,以减少文件大小。定期重写通常是根据文件大小或执行的写操作数量来触发的。
auto-aof-rewrite-min-size 64mb # 当 AOF 文件达到64MB时触发重写 auto-aof-rewrite-percentage 100 # 当执行的写操作数达到原始文件的100%时触发重写
三、 RDB(Redis DataBase)详解
RDB(Redis DataBase)是 Redis 数据库的一种持久化机制,它用于将 Redis 数据存储在磁盘上,以便在服务器重启时可以快速恢复数据。RDB 以二进制格式将 Redis 数据库的快照保存到磁盘文件中,因此它通常用于创建 Redis 数据的点对点备份。
以下是 RDB 持久化的一些关键特点和工作原理:
-
触发快照: RDB 持久化可以通过执行
SAVE命令(会阻塞服务器)或BGSAVE命令(在后台执行)来触发。BGSAVE是常见的方式,因为它不会阻塞 Redis 服务器的正常操作。 -
快照频率: 您可以在 Redis 配置文件中设置 RDB 持久化的触发条件,例如在一定时间内有多少次写操作,或者在一定时间内有多少字节的数据发生变化时执行快照。例如:
confCopy codesave 900 1 # 在900秒内,如果至少有1个键发生变化,则执行快照 -
生成 RDB 文件: 当 RDB 持久化触发时,Redis 会将当前数据库的快照保存到一个二进制文件中,通常命名为
dump.rdb。这个文件包含了当前数据库的所有数据,包括键、值、数据类型等信息。 -
数据恢复: 在服务器重启时,Redis 会检查是否存在 RDB 文件,如果存在,将使用 RDB 文件中的数据来还原数据库状态。这使得 Redis 可以在服务器重启后快速恢复数据。
-
备份和迁移: RDB 文件可以轻松地复制到其他 Redis 实例,从而进行数据备份、迁移或在测试环境中使用相同的数据。
-
手动执行 RDB 快照: 您也可以使用
SAVE命令手动触发 RDB 快照,但请注意,这会阻塞 Redis 服务器,可能会影响性能。
RDB 持久化适用于需要定期备份数据的情况,例如在服务器崩溃后快速还原数据。但需要注意的是,RDB 快照是一个点对点的备份,如果在快照生成后到下一次快照之前发生数据丢失,那么这部分数据将无法恢复。因此,对于需要实时数据持久化的场景,可以考虑同时使用 AOF(Append-Only File)持久化机制,以提供更高的数据安全性。
四、AOF(Append-Only File)详解
AOF(Append-Only File)是 Redis 的另一种持久化机制,它用于记录每个写操作,将写操作以追加的方式记录到一个日志文件中。AOF 持久化机制通常用于提供更实时的数据持久化和恢复,以及更好的数据安全性。
以下是 AOF 持久化的一些关键特点和工作原理:
-
持久化方式: AOF 持久化可以以不同的方式配置,包括关闭(no)、每个写命令(everysec)和每个写命令并同步到磁盘(always)等。最常见的配置是每秒一次(everysec),它会将写操作每秒同步到磁盘一次。
appendonly yes # 启用 AOF 持久化 appendfsync everysec # 每秒同步写操作到磁盘 -
AOF 文件格式: AOF 文件是一个文本文件,它以易于人类阅读的方式记录了每个写操作的详细信息。这使得 AOF 文件可以轻松地查看、编辑和修复。AOF 文件包含了将数据库状态从一个空文件还原到当前状态所需的所有写操作。
-
重写 AOF 文件: 为了减小 AOF 文件的体积,Redis 提供了 AOF 文件的重写功能。AOF 文件重写会分析现有的 AOF 文件并生成一个新的文件,其中只包含对当前数据库状态的有效写操作,删除了冗余的写操作。
auto-aof-rewrite-min-size 64mb # 当 AOF 文件达到64MB时触发重写 auto-aof-rewrite-percentage 100 # 当执行的写操作数达到原始文件的100%时触发重写 -
数据恢复: 在服务器启动时,Redis 会重新执行 AOF 文件中记录的写操作来还原数据库状态。因为 AOF 文件包含了每个写操作的详细信息,所以它提供了更高的持久化粒度和更好的数据安全性。
-
备份和复制: AOF 文件可以轻松地复制到其他 Redis 实例,从而进行数据备份、迁移或在测试环境中使用相同的数据。
-
实时记录: AOF 持久化以实时方式记录每个写操作,这意味着即使 Redis 服务器崩溃,您也不会丢失太多数据,因为每个写操作都已被记录。
AOF 持久化通常用于需要更高数据安全性和实时数据持久化的场景,但与 RDB 不同,AOF 文件可能会比 RDB 文件大,因为它包含了所有写操作的详细信息。因此,在生产环境中,通常会结合使用 RDB 和 AOF 持久化,以提供备份和恢复的多层保护。
相关文章:
面试系列 - Redis持久化机制详解
目录 一、Redis 持久化机制 二、混合使用 RDB 和 AOF 三、 RDB(Redis DataBase)详解 四、AOF(Append-Only File)详解 Redis 是一个内存数据库,为了持久化数据以确保数据不会在服务器重启时丢失,Redis 提供了两种主要的持久化机…...
Ceph入门到精通-存储集群ceph df 用量统计算法说明
3.2.5. Ceph 如何计算数据使用量 used 值反映了使用的实际原始存储量。xxx GB / xxx GB 代表可用的存储(其中较小的数字)和总存储容量。总容量反映了在复制、克隆或快照前存储数据的大小。因此,实际存储的数据量通常会超过名义上的存储量。这…...
堡垒机的相关介绍
描述 堡垒机,即在一个特定的网络环境下,为了保障网络和数据不受来自外部和内部用户的入侵和破坏,而运用各种技术手段监控和记录运维人员对网络内的服务器、网络设备、安全设备、数据库等设备的操作行为,以便集中报警、及时处理及审…...
无涯教程-JavaScript - INDIRECT函数
描述 INDIRECT函数返回由文本字符串指定的引用。 如果您在Excel公式中键入引用B1,则Excel会理解这引用了单元格B1。但是,Excel无法将文本字符串" B1"理解为引用。因此,如果单元格引用采用文本字符串的形式,则需要使用INDIRECT函数将其转换为实际的单元格引用。 立…...
LiveNVR监控流媒体Onvif/RTSP功能-支持海康摄像头海康NVR通过EHOME协议ISUP协议接入分发视频流或是转GB28181
LiveNVR支持海康NVR摄像头通EHOME接入ISUP接入LiveNVR分发视频流或是转GB28181 1、海康 ISUP 接入配置2、海康设备接入2.1、海康EHOME接入配置示例2.2、海康ISUP接入配置示例 3、通道配置3.1、直播流接入类型 海康ISUP3.2、海康 ISUP 设备ID3.3、启用保存3.4、接入成功 4、相关…...
一年一度的中秋节马上又要到了,给你的浏览器也来点氛围感吧
说在前面 一年一度的中秋节马上又要到了,给你的浏览器也来点氛围感吧 🌕🌕🌕 插件设计 效果 首先我们应该要先确定一下我们想要实现的效果是怎样的,如上图,我们希望在页面上鼠标点击的时候会在点击区域随…...
CentOS8安装mysql-community-client错误解决
安装MySQL5.7.37的mysql-community-client-5.7.37-1.el7.x86_64.rpm时,提示如下: 提示的意思是缺少依赖软件包。 使用如下命令安装依赖包: yum install libncurse* 实际安装如下两个软件包。 成功后再次安装mysql-community-client-5.7.37…...
故障排除指南:解决 Kibana Discover 加载中的 6 个常见问题
作者:Steffanie Nestor Discover 是 Elastic 的核心 Kibana UI,用于搜索、过滤和检查(时间序列)数据。 可视化用于数据聚合/摘要。 Discover UI 对于大数据 Elasticsearch 响应具有弹性,但有时会因(未压缩的…...
创建一个简单的外卖订餐系统
在今天的快节奏生活中,外卖订餐系统已经成为了人们日常生活中不可或缺的一部分。这些系统通过在线点餐和配送服务,为用户提供了便捷的用餐体验。在本文中,我们将创建一个简单的外卖订餐系统,使用Python和Flask框架构建后端&#x…...
《追逐胜利:编程之路上的三子棋游戏实践》
文章目录 前言一、三子棋游戏规则二、步骤详解1.游戏菜单的实现2.棋盘的实现2.1 初始化棋盘2.2 打印棋盘 3.游戏逻辑实现3.1 玩家下棋3.2 电脑下棋 4.判断输赢4.1 win函数实现 5.完整代码 总结 前言 大家好!我是艾老虎尤!今天我很高兴来和大家分享我最近…...
身份和访问管理解决方案:混合型IAM
对于依赖于本地 IT 基础结构和传统安全模型的组织,可以更轻松地验证和授权企业网络内的所有内容,包括设备、用户、应用程序和服务器。尝试从公司网络外部获取访问权限的用户使用虚拟专用网络 (VPN) 和网络访问控制 (NA…...
微信小程序动态添加表单模块
先来看看效果: 屏幕录制 2023-09-14 16.33.21 点击添加请假按钮,就会新增一个请假信息表单;点击左上角红色删除按钮,删除当前表单; 源码下载地址:https://download.csdn.net/download/xq30397022/88339822…...
HTML5+CSS3小实例:纯CSS实现彩虹倒映水面的唯美背景
实例:纯CSS实现彩虹倒映水面的唯美背景 技术栈:HTML+CSS 效果: 源码: 【html】 <!DOCTYPE html> <html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"><meta name="viewport" …...
Beautiful Soup简介
BeautifulSoup是一个Python库,用于从HTML或XML文件中提取数据。它提供了一种简单而直观的方式来遍历、搜索和修改HTML或XML文档的结构。 以下是一些BeautifulSoup的主要功能: 解析器:BeautifulSoup支持多种解析器,包括Python的内置…...
Springboot2.7集成websocket及相关问题
1、集成websocket完整代码 导入maven依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dependency> 服务端代码 (1)注入bean Configur…...
MES管理系统和ERP系统在生产制造管理中的应用
MES生产管理系统通过过程管理、质量管理、设备管理、产品跟踪和溯源、性能分析和物料管理等方面来管理生产制造,旨在建立规范的生产管理信息平台,提高企业核心竞争力。ERP系统则通过制定生产计划、细分物料需求计划、车间订单下达和生产回报等步骤进行生…...
Netty Channel 详解
优质博文:IT-BLOG-CN 一、Netty 服务端启动过程 【1】创建服务端Channel; 【2】初始化服务端Channel; 【3】注册Selector; 【4】端口绑定:我们分析源码的入口从端口绑定开始,ServerBootstrap的bind(int in…...
技师学院物联网实训室建建设方案
一、概述 1.1专业背景 物联网(Internet of Things)被称为继计算机、互联网之后世界信息产业第三次浪潮,它并非一个全新的技术领域,而是现代信息技术发展到一定阶段后出现的一种聚合性应用与技术提升,是随着传感网、通…...
SpringBoot项目--电脑商城【增加/减少购物车商品数量】
1.持久层[Mapper] 1.1规划需要执行的SQL语句 1.更新该商品的数量.此SQL语句无需重复开发 update t_cart set num?,modified_user?,modified_time? where cid? 2.首先进行查询需要操作的购物车数据信息【查看该条数据是否存在】 SELECT * FROM t_cart WHERE cid?2.接口…...
CSS元素浮动
概述 浮动简介 在最初,浮动是用来实现文字环绕图片效果的,现在浮动是主流的页面布局方式之一。 元素浮动后的特点 脱离文档流。不管浮动前是什么元素,浮动后,默认宽与高都是被内容撑开的(尽可能小)&am…...
【Python】 -- 趣味代码 - 小恐龙游戏
文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现,玩家控制一个角色(龙)躲避障碍物(仙人掌和乌鸦)。以下是代码的详细介绍:…...
CTF show Web 红包题第六弹
提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框,很难让人不联想到SQL注入,但提示都说了不是SQL注入,所以就不往这方面想了 先查看一下网页源码,发现一段JavaScript代码,有一个关键类ctfs…...
Xshell远程连接Kali(默认 | 私钥)Note版
前言:xshell远程连接,私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...
【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 初始化服务器)
服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...
Leetcode 3577. Count the Number of Computer Unlocking Permutations
Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接:3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯,要想要能够将所有的电脑解锁&#x…...
剑指offer20_链表中环的入口节点
链表中环的入口节点 给定一个链表,若其中包含环,则输出环的入口节点。 若其中不包含环,则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...
算法岗面试经验分享-大模型篇
文章目录 A 基础语言模型A.1 TransformerA.2 Bert B 大语言模型结构B.1 GPTB.2 LLamaB.3 ChatGLMB.4 Qwen C 大语言模型微调C.1 Fine-tuningC.2 Adapter-tuningC.3 Prefix-tuningC.4 P-tuningC.5 LoRA A 基础语言模型 A.1 Transformer (1)资源 论文&a…...
uniapp 实现腾讯云IM群文件上传下载功能
UniApp 集成腾讯云IM实现群文件上传下载功能全攻略 一、功能背景与技术选型 在团队协作场景中,群文件共享是核心需求之一。本文将介绍如何基于腾讯云IMCOS,在uniapp中实现: 群内文件上传/下载文件元数据管理下载进度追踪跨平台文件预览 二…...
深入解析 ReentrantLock:原理、公平锁与非公平锁的较量
ReentrantLock 是 Java 中 java.util.concurrent.locks 包下的一个重要类,用于实现线程同步,支持可重入性,并且可以选择公平锁或非公平锁的实现方式。下面将详细介绍 ReentrantLock 的实现原理以及公平锁和非公平锁的区别。 ReentrantLock 实现原理 基本架构 ReentrantLo…...
aurora与pcie的数据高速传输
设备:zynq7100; 开发环境:window; vivado版本:2021.1; 引言 之前在前面两章已经介绍了aurora读写DDR,xdma读写ddr实验。这次我们做一个大工程,pc通过pcie传输给fpga,fpga再通过aur…...
