当前位置: 首页 > news >正文

redis--持久化

redis持久化

在 Redis 中,持久化是一种将数据从内存写入到磁盘的机制,以便在服务器重启或崩溃时能够恢复数据。Redis 提供了两种主要的持久化方式:RDB(Redis Database Snapshot)和AOF(Append-Only File)。

RDB

RDB是Redis的一种持久化方式,用于将内存中的数据保存到硬盘,以防止数据在重启时丢失。它通过在指定的时间间隔内创建一个数据集的快照(或者快照文件),将其保存到磁盘上的二进制文件中。RDB持久化的主要目标是提供一种紧凑、高效、可靠的数据备份和恢复方式。

RDB 持久化流程

  1. 生成快照触发
    手动触发: 可以使用SAVE或BGSAVE命令手动触发RDB快照生成。

    • SAVE命令:阻塞主线程,直到快照生成完成,期间Redis无法响应其他请求,不推荐使用。
    • BGSAVE命令:在后台异步生成快照,不阻塞其他操作,更常用。
      自动触发: 可以通过配置文件自动设置生成快照的时间间隔和阈值,当满足条件时自动触发生成快照。
  2. 生成快照过程
    在如BGSAVE命令触发时,Redis会创建一个子进程(fork),该子进程将负责生成快照。子进程将内存中的数据复制到一个临时文件(临时RDB文件)中,以保证不干扰主进程的正常操作。

  3. 快照文件替换:
    子进程完成快照生成后,快照文件会被重命名并替换上次生成的持久化文件。新生成的快照文件(dump.rdb)将备份在redis.conf中dir 配置项所指定的目录。如果默认开启了rdb,加载是也是从该路径加载快照文件,可以在redis.conf中修改dir路径。

  4. 数据恢复
    使用备份的快照文件替换现有的RDB文件,当Redis服务器需要恢复数据时(比如重启后),它会加载最新的RDB文件。

RDB 持久化优缺点

RDB 持久化方式有以下几个优点:

  • RDB 文件是一个紧凑且完整的数据集备份,可以用于灾难恢复或迁移。
  • RDB 文件是一个二进制文件,加载速度比 AOF 文件更快。
  • RDB 文件占用更少的磁盘空间,因为它只保存当前数据库状态,并且使用了压缩算法。
  • RDB 文件对服务器性能影响较小,因为它只需要 fork 一个子进程来生成快照,并且不需要频繁地写入磁盘。

RDB 持久化方式也有以下几个缺点:

  • RDB 文件不能保证数据完全不丢失,在两次生成快照之间发生故障时,可能会导致部分数据丢失。
  • RDB 文件生成需要 fork 一个子进程,这会消耗一定的内存和CPU资源,如果数据集很大,可能会影响服务器的响应速度。
  • RDB 文件恢复时,需要清空内存中的数据,然后重新加载 RDB 文件,这会导致服务器在一段时间内无法提供服务。

RDB 持久化适用场景

RDB 持久化方式适用于以下场景:

  1. 数据的完整性要求不高,可以容忍一定程度的数据丢失。
  2. 数据集较小,生成快照的时间和资源消耗较低。
  3. 数据备份和恢复的频率较低,不需要实时地同步数据。

AOF

AOF是 Redis 提供的一种持久化机制,用于将写操作追加到一个日志文件中,以便在服务器重启或崩溃时能够恢复数据。AOF 持久化方式记录了所有写操作命令,因此可以更可靠地保护数据。AOF 和 RDB 同时开启,系统默认取 AOF 的数据(数据不会存在丢失)。

AOF 持久化的生成流程

默认情况下,AOF持久化是关闭的,可以通过修改redis.conf文件中的appendonly参数来开启或关闭AOF持久化。开启后,服务器会在启动时加载AOF文件,并在每次执行写命令后将命令追加到AOF文件中。

命令追加: 当客户端发送写操作命令(例如 SET、INCRBY 等)给 Redis 服务器时,这些写操作命令会被追加到 AOF 文件中,以 Redis 命令的形式。

追加顺序: 写操作命令按照它们发生的顺序被追加到 AOF 文件的末尾。这确保了写操作的顺序性。

同步选项: Redis 提供了不同的同步策略来将写操作命令同步到磁盘上的 AOF 文件。可以使用 always(始终同步)、everysec (每秒同步)或 no(不主动进行同步) 来设置同步频率。

重写机制: 为了避免 AOF 文件变得过大,Redis 提供了 AOF 重写机制。AOF 重写可以生成一个新的 AOF 文件,其中只包含与当前数据库状态一致的写操作命令。这个过程可以通过执行 BGREWRITEAOF 命令手动触发,也可以根据配置自动触发。

AOF 恢复流程

启动 Redis: 当 Redis 服务器启动时,它会检查是否启用了 AOF 持久化,如果启用了,则尝试加载 AOF 文件。

AOF 文件加载: Redis 会将 AOF 文件中的写操作命令逐一执行,以恢复数据库的状态。这个过程可以保证数据的完整性。

执行顺序: AOF 文件中的写操作命令会按照它们在 AOF 文件中的顺序被执行,确保了写操作的顺序性。

AOF重写原理

AOF重写的原理是根据Redis进程内的数据生成一个新的AOF文件,只包含当前有效和存在的数据的写入命令,而不是历史上所有的写入命令。这样可以减少AOF文件的大小,提高数据恢复的速度,以及节省磁盘空间。

AOF重写是通过fork出一个子进程来完成的,子进程会扫描Redis的数据库,并将每个键值对转换为相应的写入命令,然后写入到一个临时文件中。例如,如果一个列表键包含了五个元素,那么子进程会将这五个元素合并为一条LPUSH命令,而不是保留原来的五条RPUSH命令。这样可以有效地压缩AOF文件的内容。

在子进程进行AOF重写的过程中,主进程会继续处理客户端的请求,并将执行过的写命令追加到旧的AOF文件和一个缓冲区中。当子进程完成AOF重写后,它会向主进程发送一个信号,主进程收到信号后会将缓冲区中的写命令追加到临时文件中,然后用临时文件替换旧的AOF文件,完成AOF重写。

AOF重写可以手动触发,也可以自动触发。手动触发可以通过执行bgrewriteaof命令来实现。自动触发可以通过设置redis.conf文件中的auto-aof-rewrite-percentage和auto-aof-rewrite-min-size参数来实现。当AOF文件的大小比上一次重写后的大小增长了一定百分比,并且超过了一定字节数时,就会自动触发AOF重写。

AOF 持久化优缺点

AOF 持久化方式有以下几个优点:

  • AOF 文件可以保证数据不丢失,即使服务器发生故障,也可以通过重放 AOF 文件中的命令来恢复数据。
  • AOF 文件是一个纯文本文件,每一行记录了一个 Redis 写命令,格式简单易懂,便于人工查看和编辑。
  • AOF 文件可以通过重写机制来减少文件大小,并且可以根据配置自动触发重写。
  • AOF 文件对服务器性能影响较小,因为它可以根据需要设置不同的同步策略,并且不需要fork一个子进程来生成快照。

AOF 持久化方式也有以下几个缺点:

  • AOF 文件可能会比 RDB 文件更大,因为它记录了所有的写操作命令,而不是只保存当前的数据状态。
  • AOF 文件加载速度比 RDB 文件更慢,因为它需要逐一执行 AOF 文件中的命令,而不是直接加载二进制文件。
  • AOF 文件可能会出现损坏或不完整的情况,如果在写入或同步过程中发生故障,可能会导致部分命令丢失或格式错误。为了避免这种情况,可以使用 redis-check-aof 工具来检查和修复 AOF 文件。

AOF 持久化适用场景

AOF 持久化方式适用于以下场景:

  1. 数据的完整性要求很高,不能容忍任何程度的数据丢失。
  2. 数据集较大,生成快照的时间和资源消耗较高。
  3. 数据备份和恢复的频率较高,需要实时地同步数据。

RDB 和 AOF 的选择

RDB 和 AOF 是两种不同的持久化方式,它们各有优缺点和适用场景。在实际应用中,我们可以根据具体的业务需求和场景来选择合适的持久化方式。

以下是一些常见的选择原则:

  • 如果数据的完整性要求很高,不能容忍任何程度的数据丢失,那么可以选择 AOF 持久化方式,并且设置 always 或 everysec 的同步策略。
  • 如果数据的完整性要求不高,可以容忍一定程度的数据丢失,那么可以选择 RDB 持久化方式,并且设置合理的生成快照的时间间隔和阈值。
  • 如果既想要保证数据的完整性,又想要提高数据恢复的速度,那么可以同时开启 RDB 和 AOF 持久化方式,并且设置 everysec 的同步策略。这样,在正常情况下,可以通过重放 AOF 文件来恢复数据;在异常情况下(比如 AOF 文件损坏或不完整),可以通过加载 RDB 文件来恢复数据。
  • 如果想要提高服务器性能和降低资源消耗,那么可以关闭持久化功能,并且定期将数据备份到其他存储介质上。这样,在服务器发生故障时,可以通过手动恢复数据。

相关文章:

redis--持久化

redis持久化 在 Redis 中,持久化是一种将数据从内存写入到磁盘的机制,以便在服务器重启或崩溃时能够恢复数据。Redis 提供了两种主要的持久化方式:RDB(Redis Database Snapshot)和AOF(Append-Only File&am…...

管理外部表

官方文档地址:Managing Tables 关于外部表 Oracle 数据库允许您对外部表中的数据进行只读访问。外部表定义为不驻留在数据库中的表,通过向数据库提供描述外部表的元数据,数据库能够公开外部表中的数据,就好像它是驻留在常规数据…...

数字图像处理-AWB跳变

1、自动白平衡(AWB)算法是相机中常用的图像处理技术,它能够自动调整图像中的白平衡,使得图像中的颜色更加真实、自然。然而,在实际应用中,AWB算法也存在着一些问题,例如AWB跳变(Whit…...

DNNGP、DeepGS 和 DLGWAS模型构成对比

一、DNNGP DNNGP 是基于深度卷积神经网络,这个结构包括一个输入层,三个卷积层,一个批标准化层,两个dropout层,一个平坦化层,一个 dense层。 dropout层:在神经网络中,dropout层是一个非常有效的正…...

postgresSQL 配置文件设置

postgres.conf 是 PostgreSQL 数据库的主要配置文件,其中包含了许多关于数据库行为的设置。以下是一些常见的配置项: listen_addresses: 这个参数定义了 PostgreSQL 服务监听的网络地址。默认值是 ‘localhost’,这意味着只有本机的客户端才能…...

【bug】Unity无法创建项目

bug UnityHub无法创建项目 UnityHub无法创建项目 出现的问题:在创建新项目时弹出来一个 无法创建项目 尝试的方法: 刷新许可证 ❌没用退出账号重新登陆 ❌没用重启电脑 ❌没用 最后发现是什么问题呢? 2021.3.3这个版本我之前在资源管理器中…...

跨境外贸业务,选择动态IP还是静态IP?

在跨境业务中,代理IP是一个关键工具。它们提供了匿名的盾牌,有助于克服网络服务器针对数据提取设置的限制。无论你是需要经营管理跨境电商店铺、社交平台广告投放,还是独立站SEO优化,代理IP都可以让你的业务程度更加丝滑&#xff…...

Hlang社区-社区导航栏实现

文章目录 前言项目结构导航实现创作中心移动小球消息提示完整代码前言 okey,这里的话是我们社区导航栏的实现: 废话不多说,看看效果: 我甚至为此用New Bing生成了一个Logo。 项目结构 废话不多说,先来看到我们的项目结构: 在这里导航栏是一个组件。 在App.vue里面直…...

Kestrel和ISS服务器下的配置

一、Kestrel服务器 Kestrel是ASP.NET Core框架中的一个跨平台的Web服务器。它是ASP.NET Core应用程序默认的HTTP服务器,并且可作为独立的Web服务器来托管ASP.NET Core应用程序。 Kestrel具有以下特点和功能 1、跨平台 Kestrel是完全跨平台的,可以在Wind…...

uniapp选择只选择月份demo效果(整理)

<template><view style"margin-top: 200rpx;"><!-- mode"multiSelector" 多列选择器 --><view><picker :range"years" :value"echoVal" change"yearChange" mode"multiSelector">{…...

微信ipad协议8.0.40 加好友功能

友情链接 geweapi.com 点击即可访问&#xff01; 好友请求验证 小提示&#xff1a; v_3 v_4 可以参考 搜索接口 请求URL&#xff1a; http://域名地址/api/contacts/verifyuser 请求方式&#xff1a; POST 请求头&#xff1a; Content-Type&#xff1a;application/js…...

如何通过本地搭建wamp服务器并实现无公网IP远程访问

文章目录 前言1.Wamp服务器搭建1.1 Wamp下载和安装1.2 Wamp网页测试 2. Cpolar内网穿透的安装和注册2.1 本地网页发布2.2 Cpolar云端设置2.3 Cpolar本地设置 3. 公网访问测试4. 结语 前言 软件技术的发展日新月异&#xff0c;各种能方便我们生活、工作和娱乐的新软件层出不穷&…...

matlab使用教程(19)—曲线拟合与一元方程求根

1.多项式曲线拟合 此示例说明如何使用 polyfit 函数将多项式曲线与一组数据点拟合。您可以按照以下语法&#xff0c;使用 polyfit 求出以最小二乘方式与一组数据拟合的多项式的系数 p polyfit(x,y,n), 其中&#xff1a; • x 和 y 是包含数据点的 x 和 y 坐标的向量 …...

【Go 基础篇】Go语言关键字和预定义标识符解析:探索编程的基石与核心要素

介绍 在计算机编程中&#xff0c;关键字&#xff08;Keywords&#xff09;和预定义标识符&#xff08;Predefined Identifiers&#xff09;是编程语言的核心要素&#xff0c;它们在语法结构和语言功能中起到重要作用。在Go语言&#xff08;Golang&#xff09;中&#xff0c;关…...

微服务与Nacos概述-6

RBAC 模型 RBAC 基于角色的访问控制是实施面向企业安全策略的一种有效的访问控制方式。 基本思想是&#xff0c;对系统操作的各种权限不是直接授予具体的用户&#xff0c;而是在用户集合与权限集合之间建立一个角色集合。每一种角色对应一组相应的权限。一旦用户被分配了适当…...

不是说嵌入式是风口吗,那为什么工作还那么难找?

最近确实有很多媒体、机构渲染嵌入式可以拿高薪&#xff0c;这在行业内也是事实&#xff0c;但前提是你有足够的竞争力&#xff0c;真的懂嵌入式。 时至今日&#xff0c;能做嵌入式程序开发的人其实相当常见&#xff0c;尤其是随着树莓派、Arduino等开发板的普及&#xff0c;甚…...

【二叉树】114. 二叉树展开为链表

114. 二叉树展开为链表 解题思路 后序遍历思路将root的左子树和右子树展平将root的右子树接到左子树下方 然后将整个左子树作为右子树 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* Tree…...

docker的安装与基础使用

一.docker简介 1&#xff09;什么是docker Docker是一种用于构建、打包和运行应用程序的开源平台。它基于操作系统级虚拟化技术&#xff0c;可以将应用程序和其依赖的库、环境等资源打包到一个可移植的容器中&#xff0c;形成一个轻量级、独立的可执行单元。 开发者在本地编…...

python+django+mysql高校校园外卖点餐系统--计算机毕设项目

本文的研究目标是以高校校园外卖点餐为对象&#xff0c;使其高校校园外卖点餐为目标&#xff0c;使得高校校园外卖点餐的信息化体系发展水平提高。论文的研究内容包括对个人中心、美食分类管理、用户管理、商家管理、美食信息管理、工作人员管理、安全检查管理、系统管理、订单…...

获取excel中的图片(包含wps中嵌入单元格图片)

项目中有excel导入功能,并且需要导入excel中的图片;模板如图: 已知office中插入的图片为浮动形式;如图: wps中可以插入浮动图片,也可以插入嵌入单元格图片;如图: 并且在wps嵌入单元格形式的图片可以看到使用的是公式;如图: 问题来了,如何获取图片 并且将图片与单元格进行对应 …...

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

基础测试工具使用经验

背景 vtune&#xff0c;perf, nsight system等基础测试工具&#xff0c;都是用过的&#xff0c;但是没有记录&#xff0c;都逐渐忘了。所以写这篇博客总结记录一下&#xff0c;只要以后发现新的用法&#xff0c;就记得来编辑补充一下 perf 比较基础的用法&#xff1a; 先改这…...

基于Docker Compose部署Java微服务项目

一. 创建根项目 根项目&#xff08;父项目&#xff09;主要用于依赖管理 一些需要注意的点&#xff1a; 打包方式需要为 pom<modules>里需要注册子模块不要引入maven的打包插件&#xff0c;否则打包时会出问题 <?xml version"1.0" encoding"UTF-8…...

关于 WASM:1. WASM 基础原理

一、WASM 简介 1.1 WebAssembly 是什么&#xff1f; WebAssembly&#xff08;WASM&#xff09; 是一种能在现代浏览器中高效运行的二进制指令格式&#xff0c;它不是传统的编程语言&#xff0c;而是一种 低级字节码格式&#xff0c;可由高级语言&#xff08;如 C、C、Rust&am…...

Maven 概述、安装、配置、仓库、私服详解

目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...

Xen Server服务器释放磁盘空间

disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...

安宝特案例丨Vuzix AR智能眼镜集成专业软件,助力卢森堡医院药房转型,赢得辉瑞创新奖

在Vuzix M400 AR智能眼镜的助力下&#xff0c;卢森堡罗伯特舒曼医院&#xff08;the Robert Schuman Hospitals, HRS&#xff09;凭借在无菌制剂生产流程中引入增强现实技术&#xff08;AR&#xff09;创新项目&#xff0c;荣获了2024年6月7日由卢森堡医院药剂师协会&#xff0…...

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) ​梯度归一化(Gradient Normalization)​​ (2) ​判别器梯度间隙正则化(Discriminator Gradient Gap Regularization)​​ (3) ​自注意力机制(Self-Attention)​​ 3. 完整损失函数 二…...

JS手写代码篇----使用Promise封装AJAX请求

15、使用Promise封装AJAX请求 promise就有reject和resolve了&#xff0c;就不必写成功和失败的回调函数了 const BASEURL ./手写ajax/test.jsonfunction promiseAjax() {return new Promise((resolve, reject) > {const xhr new XMLHttpRequest();xhr.open("get&quo…...

并发编程 - go版

1.并发编程基础概念 进程和线程 A. 进程是程序在操作系统中的一次执行过程&#xff0c;系统进行资源分配和调度的一个独立单位。B. 线程是进程的一个执行实体,是CPU调度和分派的基本单位,它是比进程更小的能独立运行的基本单位。C.一个进程可以创建和撤销多个线程;同一个进程中…...