Redis的持久化存储和集群管理操作
Redis 的持久化存储和集群
一、引言
Redis 是一个开源的内存数据结构存储系统,被广泛应用于缓存、消息队列、排行榜等场景。然而,由于数据存储在内存中,一旦服务器重启或出现故障,数据就会丢失。为了解决这个问题,Redis 提供了两种持久化存储方式:RDB(Redis Database)和 AOF(Append Only File)。同时,为了提高系统的可扩展性和可用性,Redis 还支持集群模式。
二、Redis 的持久化存储
(一)RDB 持久化
-
工作原理
-
RDB 持久化是通过创建一个内存快照来保存 Redis 数据库在某个时间点的状态。这个快照文件可以在 Redis 服务器重启时加载,从而恢复数据库的状态。
-
Redis 会在指定的时间间隔内或者当满足特定条件时(如执行了一定数量的写操作),自动触发 RDB 持久化。
-
-
优点
-
生成的 RDB 文件紧凑,体积小,便于备份和恢复。
-
恢复数据的速度非常快,因为只需要将 RDB 文件加载到内存中即可。
-
-
缺点
-
由于是在特定时间点创建快照,所以可能会丢失在快照创建之间的数据。
-
当数据量较大时,创建快照可能会导致 Redis 服务器暂时停止服务,影响性能。
-
-
配置方法
-
在 Redis 配置文件中,可以通过以下参数来配置 RDB 持久化:
-
save <seconds> <changes>:指定在多少秒内有多少个键被修改时触发 RDB 持久化。例如,save 900 1表示在 900 秒内至少有 1 个键被修改时触发 RDB 持久化。 -
dbfilename <filename>:指定 RDB 文件的文件名。 -
dir <directory>:指定 RDB 文件的存储目录。
-
-
(二)AOF 持久化
-
工作原理
-
AOF 持久化是通过记录 Redis 服务器执行的所有写命令来保存数据库的状态。这些写命令以文本形式追加到 AOF 文件中。当 Redis 服务器重启时,可以通过重新执行 AOF 文件中的写命令来恢复数据库的状态。
-
Redis 可以在每次执行写命令时立即将命令追加到 AOF 文件中,也可以设置为每隔一段时间追加一次。
-
-
优点
-
可以提供更好的数据持久性,因为它记录了所有的写操作,不会丢失数据。
-
AOF 文件易于理解和解析,可以用于数据恢复和故障排查。
-
-
缺点
-
AOF 文件通常比 RDB 文件大,因为它记录了所有的写操作。
-
恢复数据的速度相对较慢,因为需要重新执行所有的写命令。
-
-
配置方法
-
在 Redis 配置文件中,可以通过以下参数来配置 AOF 持久化:
-
appendonly yes:开启 AOF 持久化。 -
appendfsync always|everysec|no:指定 AOF 文件的同步方式。always表示每次执行写命令时立即同步到 AOF 文件;everysec表示每秒同步一次;no表示由操作系统决定何时同步。 -
no-appendfsync-on-rewrite no|yes:在进行 AOF 重写时是否禁止同步 AOF 文件。如果设置为yes,可以提高 AOF 重写的性能,但可能会导致数据丢失。 -
auto-aof-rewrite-percentage <percentage>:指定 AOF 文件相对于上次重写后的增长比例,当增长比例达到这个值时,Redis 会自动触发 AOF 重写。例如,auto-aof-rewrite-percentage 100表示当 AOF 文件大小是上次重写后的两倍时,触发 AOF 重写。 -
auto-aof-rewrite-min-size <size>:指定触发 AOF 重写的最小文件大小。例如,auto-aof-rewrite-min-size 64mb表示当 AOF 文件大小大于 64MB 时,触发 AOF 重写。
-
-
(三)选择合适的持久化方式
-
根据数据重要性选择
-
如果数据非常重要,不能丢失,那么可以选择 AOF 持久化。因为 AOF 记录了所有的写操作,可以保证数据的完整性。
-
如果数据相对不重要,或者可以接受一定程度的数据丢失,那么可以选择 RDB 持久化。RDB 文件体积小,恢复速度快,适用于对性能要求较高的场景。
-
-
根据性能需求选择
-
RDB 持久化在创建快照时可能会导致 Redis 服务器暂时停止服务,影响性能。如果对性能要求非常高,可以选择 AOF 持久化,因为它可以在后台进行重写操作,不会影响服务器的正常运行。
-
但是,AOF 文件通常比 RDB 文件大,恢复数据的速度也相对较慢。如果对恢复速度要求非常高,可以选择 RDB 持久化。
-
-
结合使用
-
也可以结合使用 RDB 和 AOF 持久化,以充分发挥两者的优势。例如,可以定期使用 RDB 持久化创建快照,同时使用 AOF 持久化记录所有的写操作。这样,在恢复数据时,可以先加载 RDB 文件,然后再重放 AOF 文件中的写命令,从而提高恢复速度和数据的完整性。
-
三、Redis 的集群
(一)集群的概念和优势
-
概念
-
Redis 集群是由多个 Redis 节点组成的分布式系统。这些节点可以分布在不同的服务器上,通过网络进行通信和协作。
-
Redis 集群中的每个节点都负责存储一部分数据,并可以处理客户端的请求。当客户端向集群发送请求时,Redis 会根据请求的键值对计算出应该由哪个节点来处理这个请求,并将请求转发到相应的节点。
-
-
优势
-
可扩展性:可以通过添加更多的节点来扩展集群的存储容量和处理能力。
-
高可用性:如果某个节点出现故障,其他节点可以继续处理请求,不会导致整个系统的瘫痪。
-
负载均衡:请求可以均匀地分布到各个节点上,避免单个节点负载过高。
-
(二)集群的搭建
-
准备工作
-
安装多个 Redis 服务器,并确保它们可以相互通信。
-
为每个 Redis 服务器创建一个配置文件,指定不同的端口号和数据存储目录。
-
-
创建集群
-
使用 Redis 提供的
redis-cli工具来创建集群。可以使用以下命令来创建一个包含六个节点的集群:
-
redis-cli --cluster create <node1_ip>:<node1_port> <node2_ip>:<node2_port> <node3_ip>:<node3_port> <node4_ip>:<node4_port> <node5_ip>:<node5_port> <node6_ip>:<node6_port> --cluster-replicas 1
-
这个命令会将六个节点组成一个集群,并为每个主节点分配一个从节点。
-
验证集群
-
使用
redis-cli连接到集群中的任意一个节点,并执行一些命令来验证集群是否正常工作。例如,可以使用set和get命令来设置和获取键值对,然后检查结果是否正确。
-
(三)集群的操作和管理
-
添加和删除节点
-
可以使用
redis-cli工具来添加和删除集群中的节点。例如,可以使用以下命令来添加一个新的节点:
-
redis-cli --cluster add-node <new_node_ip>:<new_node_port> <existing_node_ip>:<existing_node_port>
-
这个命令会将新的节点添加到集群中,并将其分配给一个主节点作为从节点。
-
要删除一个节点,可以使用以下命令:
redis-cli --cluster del-node <node_ip>:<node_port> <node_id>
-
这个命令会从集群中删除指定的节点,并将其负责的数据迁移到其他节点上。
-
数据迁移
-
当添加或删除节点时,可能需要进行数据迁移。Redis 集群会自动将数据从一个节点迁移到另一个节点,以保持数据的均衡分布。
-
可以使用
redis-cli工具来监控数据迁移的进度。例如,可以使用以下命令来查看数据迁移的状态:
-
redis-cli --cluster info <node_ip>:<node_port>
-
故障转移
-
如果主节点出现故障,Redis 集群会自动进行故障转移。从节点会被提升为主节点,并开始处理客户端的请求。
-
可以使用
redis-cli工具来监控故障转移的过程。例如,可以使用以下命令来查看集群的状态:
-
redis-cli --cluster check <node_ip>:<node_port>
四、示例
(一)RDB 持久化示例
以下是一个简单的 Redis 配置文件示例,展示了如何配置 RDB 持久化:
# 开启 RDB 持久化 save 900 1 save 300 10 save 60 10000 # 指定 RDB 文件的文件名和存储目录 dbfilename dump.rdb dir /var/lib/redis
在这个配置文件中,Redis 会在 900 秒内至少有 1 个键被修改、300 秒内至少有 10 个键被修改或者 60 秒内至少有 10000 个键被修改时触发 RDB 持久化。RDB 文件的文件名是dump.rdb,存储在/var/lib/redis目录下。
(二)AOF 持久化示例
以下是一个简单的 Redis 配置文件示例,展示了如何配置 AOF 持久化:
# 开启 AOF 持久化 appendonly yes # 指定 AOF 文件的同步方式为每秒同步一次 appendfsync everysec # 禁止在 AOF 重写时同步 AOF 文件,以提高性能 no-appendfsync-on-rewrite yes # 当 AOF 文件大小是上次重写后的两倍时,触发 AOF 重写 auto-aof-rewrite-percentage 100 # 当 AOF 文件大小大于 64MB 时,触发 AOF 重写 auto-aof-rewrite-min-size 64mb
在这个配置文件中,Redis 会开启 AOF 持久化,并将 AOF 文件的同步方式设置为每秒同步一次。在进行 AOF 重写时,会禁止同步 AOF 文件,以提高性能。当 AOF 文件大小是上次重写后的两倍或者大于 64MB 时,会触发 AOF 重写。
(三)Redis 集群示例
以下是一个简单的 Redis 集群创建和验证的示例:
-
安装多个 Redis 服务器,并为每个服务器创建一个配置文件。例如,以下是一个节点的配置文件示例:
port 7000 cluster-enabled yes cluster-config-file nodes-7000.conf cluster-node-timeout 5000 appendonly yes
在这个配置文件中,指定了 Redis 服务器的端口号为 7000,开启了集群模式,并指定了集群配置文件和节点超时时间。同时,开启了 AOF 持久化。
-
使用
redis-cli工具创建集群:
redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1
这个命令会将六个节点组成一个集群,并为每个主节点分配一个从节点。
-
验证集群:
使用redis-cli连接到集群中的任意一个节点,并执行一些命令来验证集群是否正常工作。例如,可以使用以下命令来设置和获取键值对:
redis-cli -c -p 7000 set key value get key
如果能够正确设置和获取键值对,说明集群正常工作。
五、总结
Redis 的持久化存储和集群功能为用户提供了强大的数据管理和高可用性解决方案。通过选择合适的持久化方式,可以保证数据的安全性和完整性;通过搭建集群,可以提高系统的可扩展性和可用性。在实际应用中,需要根据具体的需求和场景来选择合适的方案,并进行合理的配置和管理。
相关文章:
Redis的持久化存储和集群管理操作
Redis 的持久化存储和集群 一、引言 Redis 是一个开源的内存数据结构存储系统,被广泛应用于缓存、消息队列、排行榜等场景。然而,由于数据存储在内存中,一旦服务器重启或出现故障,数据就会丢失。为了解决这个问题,Re…...
Auto-encoder(自编码器)
Auto-encoder(自编码器) 1 基本概念 自编码就和之前的cycle GAN的概念很像,假設你有非常大量的圖片,在 Auto-Encoder 裡面你有兩個 Network,一個叫做 Encoder,一個叫做 Decoder,他們就是兩個 N…...
Vue+sortable+el-table表格排序使用指南
前言 这两天遇到一个需求:在点击【设置优先级】的按钮后弹出关于玩法类型的table,点击【排序】按钮可以后可以进行排序。由于组内使用的组件库是 element-ui,那我首先就想到了使用 el-table组件,但奈何其版本原因不能相应的拖拽排…...
表数据删一半,为什么表文件大小不变?
参数innodb_file_per_table 这个参数设置为ON,表示每个表数据单独存在一个文件中,这时如果执行drop命令,系统会直接删除表文件。 这个参数设置为off时,所有表的数据和索引都存在共享的.ibdata文件,即使表删掉了&…...
MoCoOp: Mixture of Prompt Learning for Vision Language Models
文章汇总 当前的问题 1)数据集风格变化。 如图1所示,对于一个数据集,单个软提示可能不足以捕获数据中呈现的各种样式。同一数据集中的不同实例可能与不同的提示符兼容。因此,更**自然的做法是使用多个提示来充分表示这些变化**。 2)过拟合…...
YOLOv8 onnx 部署
本文是在win10系统下进行yolov8目标检测推理的过程记录。 yolov8 已经集成到OpenCV,可以通过两种方式调用,一种是直接通过OpenCV 调用,另外一种是通过onnx runtime(ort)调用。 1、安装cuda 、opencv 等依赖库,具体可以参考 Win1…...
在文件里引用目录文件下的静态资源图片不显示
问题:两种图片路径的指定方式,第一种能展示图片但第二种不能 两个 示例中,图片展示的差异。 在第一个示例中,图片路径是硬编码在 标签的 src 属性中的: <img src"../../assets/img/header01.png" style…...
vue使用 jsplumb 生成流程图
1、安装jsPlumb: npm install jsplumb 2、 在使用的 .vue 文件中引入 import { jsPlumb } from "jsplumb"; 简单示例: 注意:注意看 id 为"item-3"和"item-9"那条数据的连线配置 其中有几个小图片&#x…...
攻坚金融关键业务系统,OceanBase亮相2024金融科技大会
10月15-16日,第六届中新数字金融应用博览会与2024金融科技大会(简称“金博会”)在苏州工业园区联合举办。此次大会融合了国家级重要金融科技资源——“中国金融科技大会”,围绕“赋能金融高质量发展,金融科技创新前行”…...
《纳瓦尔宝典:财富和幸福指南》读书随笔
最近在罗胖的得到听书中听到一本书,感觉很有启发,书的名字叫《纳瓦尔宝典》,从书名上看给人的感觉应该财富知识类、鸡汤爆棚哪类。纳瓦尔,这个名字之前确实没有听说过,用一句话介绍一下,一个印度裔的硅谷中…...
C++ | STL | 侯捷 | 学习笔记
C | STL | 侯捷 | 学习笔记 文章目录 C | STL | 侯捷 | 学习笔记1 STL概述1.1 头文件名称1.2 STL基础介绍1.3 typename 2 OOP vs. GP3 容器3.1 容器结构分类3.2 序列式容器3.2.1 array测试深度探索 3.2.2 vector测试深度探索 3.2.3 list测试深度探索 3.2.4 forward_list测试深度…...
C函数基础
C语言中的函数教程 在C语言中,函数是一段组织好的、可重复使用的、用于执行特定任务的代码。函数可以提高代码的模块化和可重用性。以下是关于C语言中函数的详细教程。 1. 函数的定义与声明 1.1 函数定义 函数定义包括函数头和函数体。函数头包括函数返回类型、…...
html和css实现页面
任务4 html文件 任务5 htm文件 css文件 任务6 html文件 css文件 任务7 html文件 css文件...
Github_以太网开源项目verilog-ethernet代码阅读与移植(八)——移植工程分享
实验背景 第六篇计划是写项目中各个模块的实现和约束文件的编写,有的小伙伴有裁剪工程的需要,就先分享一个半成品以供参考,由于笔者水平有限,错误肯定会有,望批评指正。 实验内容 移植工程共享 实验步骤 工程一部…...
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
词元化是针对自然语言处理任务的数据预处理中一个重要步骤,目的是将原始文本切分成模型可以识别和处理的词元序列。在大模型训练任务中,就是作为大模型的输入。传统的自然语言处理方法,如基于条件随机场的序列标注,主要采用基于词…...
低功耗4G模组LCD应用示例超全教程!不会的小伙伴看这篇就够了!
希望大家通过本文的介绍,学会LCD显示屏与Air780E开发板结合使用的方法。利用LCD显示屏,你可以为你的项目增加丰富的显示内容,提升用户体验。记住,实践出真知,赶快动手尝试吧!相信这篇教程对你有所帮助~ 本文…...
Java while语句练习 C语言的函数递归
1. /* public static void main(String[] args) {int[] arr {25, 24, 12, 98, 36, 45};int max arr[0];//不能写0for (int i 1; i < arr.length; i) {if (arr[i] > max) {max arr[i];}}System.out.println(max);}*//*public static void main(String[] args) {doubl…...
illustrator免费插件 截图识别文字插件 textOCR
随手可得的截图识别文字插件 textOCR,识别出来的文字可直接输入到illustrator的当前文档中: 执行条件 1、需截图软件支持,推荐笔记截图工具 2、截好图片直接拖入面板即可完成识别 ****后期可完成实现在illustrator选择图片对象完成文字识别。…...
提升数据管理效率:ETLCloud与达梦数据库的完美集成
达梦数据库的核心优势在于其强大的数据处理能力和高可用性设计。它采用先进的并行处理技术,支持大规模的数据操作,同时具备出色的事务处理能力和数据安全保障。此外,达梦数据库还提供了丰富的功能模块,如数据备份、恢复、监控等&a…...
头歌——人工智能(搜索策略)
文章目录 第1关:搜索策略第2关:盲目搜索第3关:启发式搜索 - 扫地机器人最短路径搜索第4关:搜索算法应用 - 四皇后问题 第1关:搜索策略 什么是搜索技术 人类的思维过程可以看作是一个搜索过程。从小学到现在࿰…...
可靠性+灵活性:电力载波技术在楼宇自控中的核心价值
可靠性灵活性:电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中,电力载波技术(PLC)凭借其独特的优势,正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据,无需额外布…...
Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式
点一下关注吧!!!非常感谢!!持续更新!!! 🚀 AI篇持续更新中!(长期更新) 目前2025年06月05日更新到: AI炼丹日志-28 - Aud…...
[10-3]软件I2C读写MPU6050 江协科技学习笔记(16个知识点)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16...
DIY|Mac 搭建 ESP-IDF 开发环境及编译小智 AI
前一阵子在百度 AI 开发者大会上,看到基于小智 AI DIY 玩具的演示,感觉有点意思,想着自己也来试试。 如果只是想烧录现成的固件,乐鑫官方除了提供了 Windows 版本的 Flash 下载工具 之外,还提供了基于网页版的 ESP LA…...
鱼香ros docker配置镜像报错:https://registry-1.docker.io/v2/
使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题:docker pull 失败 网络不同,需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...
C++八股 —— 单例模式
文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全(Thread Safety) 线程安全是指在多线程环境下,某个函数、类或代码片段能够被多个线程同时调用时,仍能保证数据的一致性和逻辑的正确性…...
企业如何增强终端安全?
在数字化转型加速的今天,企业的业务运行越来越依赖于终端设备。从员工的笔记本电脑、智能手机,到工厂里的物联网设备、智能传感器,这些终端构成了企业与外部世界连接的 “神经末梢”。然而,随着远程办公的常态化和设备接入的爆炸式…...
Linux离线(zip方式)安装docker
目录 基础信息操作系统信息docker信息 安装实例安装步骤示例 遇到的问题问题1:修改默认工作路径启动失败问题2 找不到对应组 基础信息 操作系统信息 OS版本:CentOS 7 64位 内核版本:3.10.0 相关命令: uname -rcat /etc/os-rele…...
【笔记】WSL 中 Rust 安装与测试完整记录
#工作记录 WSL 中 Rust 安装与测试完整记录 1. 运行环境 系统:Ubuntu 24.04 LTS (WSL2)架构:x86_64 (GNU/Linux)Rust 版本:rustc 1.87.0 (2025-05-09)Cargo 版本:cargo 1.87.0 (2025-05-06) 2. 安装 Rust 2.1 使用 Rust 官方安…...
Selenium常用函数介绍
目录 一,元素定位 1.1 cssSeector 1.2 xpath 二,操作测试对象 三,窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四,弹窗 五,等待 六,导航 七,文件上传 …...
