Redis 主从同步 问题
前言
相关系列
- 《Redis & 目录》(持续更新)
- 《Redis & 主从同步 & 源码》(学习过程/多有漏误/仅作参考/不再更新)
- 《Redis & 主从同步 & 总结》(学习总结/最新最准/持续更新)
- 《Redis & 主从同步 & 问题》(学习解答/持续更新)
什么是主从同步?
主从同步是Redis用于提高数据可用/可靠性的数据复制机制。主从同步允许Redis实例将自身设置为其它Redis实例的从机,从而令主机的数据可以向从机进行同步。如此一来当主机因为各项原因而宕机且一时难以立即恢复时,从机便可以及时取代主机以对外提供服务,从而得以保证数据的可用/可靠性。此外主从同步还间接具备提升数据读/写性能的效果,因为只要将读/写指令分别引导至从/主机执行以实现读/写分离,那么原本该由主机一力承担的指令便可以分摊至多台Redis实例上并发执行,从而大幅提升读/写效率。
主从同步有哪些架构?它们的优/缺点分别是什么?
一主多从
一主多从架构的核心是令任意数量的从机都同步相同主机,是实际场景使用最为频繁的主从架构…该架构的优/缺点具体如下:
- 同步效率高:所有的从机都直接由主机负责数据同步。
- 主机负载高:当从机的数量较多时,用于实现数据同步的开销将对主机运行造成相当大的压力。
级联
级联架构在一主多从架构的基础上添加了等级概念,即其允许从机继续携带从机,而非所有的从机都直接向主机进行同步…该架构的优/缺点具体如下:
- 主机负载小:主机并不需要负责所有数据同步,这在从机数量较多时可以大幅降低主机的运行压力。
- 同步效率低:数据需要进行多级传导,因为上游从机已完成数据同步的情况下下游从机可能尚未开始同步;
- 监控难度大:从机的宕机可能导致整个分支不可用,因此在引入哨兵的情况下,所有携带有从机的主/从机都应该被监控。
主从同步有几种同步方式?大致流程是什么样的?
主从同步有“全量同步&增量同步”两种同步方式,前者通常(但不限于)在主/从机(启动/重启)首次建立长链接时使用;而后者在用于在网络分区/断线重连时延续之前中断的数据同步。
全量同步
- 从机向主机发送{SYNC/PSYNC}指令请求全量同步;
- 主机接收到{SYNC/PSYNC}指令,并在判定为全量同步后返回全量同步回应。然后异步执行{SAVE}指令生成RDB快照文件,并在文件生成后将之发送至从机。而从RDB快照文件开始生成起,主机并发接收到的所有写指令都会被同步写入replication_buffer @ 复制缓冲区中,以备后续对从机进行持续性的指令同步;复制缓冲区的大小默认为1MB,当满溢时其会阻塞内存读写。此外如果全量同步是由{PSYNC}指令触发的,那么主机接收的“所有”写指令还会被同步写入replication_backlog_buffer @ 复制积压缓冲区中,用于为可能发生增量同步提供数据支持;
- 从机接收全量同步回应,并准备接受RDB快照文件;
- 从机接收到RDB快照文件,随后异步加载其中数据。该异步加载可能会阻塞主进程的内存读/写,因为在此期间主进程虽然允许执行其它的初始化行为,但在RDB快照文件正式完成加载前其实不允许接受/执行指令的,否则就会出现数据不一致问题;
- 主机结束对RDB快照文件的发送,随后持续向从机发送复制缓冲指令以进行持续性的指令同步;
- 从机持续接收并执行复制缓冲指令,从而实现对主机数据的同步。
增量同步
- 从机向主机发送{PSYNC}指令请求增量同步;
- 主机接收{PSYNC}指令,在根据其携带的主机运行ID/从机偏移量确定可执行增量同步后返回增量同步回应。随后通过从机偏移量在复制积压缓冲区中定位最后同步指令的位置,并向从机发送尚未同步的复制加压缓冲指令以实现持续性的指令同步;
- 从机接收增量同步回应,并准备接受复制积压缓冲指令;
- 从机持续接收并执行复制加压缓冲指令,从而实现对主机数据的同步。
开启主从同步后还需要开启持久化吗?推荐的持久化方案又是什么呢?
持久化机制即使是在已启动主从同步的情况下也是必须开启的,因为数据只有存入磁盘后才能彻底避免/减少丢失的情况发生。而单纯使用主从同步做数据热备是无法彻底做到这一点的,甚至主从同步本身还会成为数据丢失的原因。例如在没有开启持久化机制的情况下,如果主机宕机后又恢复运行,那么主从同步就会导致从机的热备数据因为主机数据的丢失而清空…因此持久化机制才是避免/减少数据丢失的最佳方案。
在开启主从同步的情况下,主机更推荐同时开启RDB/AOF机制以保证数据尽可能的完整,毕竟其是数据的实际来源,而从机的持久化方案则需要根据实际情况来定。如果从机仅用于在主机宕机时暂用,那么通常是无需开启持久化或只需开启RDB持久化;而如果从机后会用于在主机宕机后作为新主机使用的,那么就推荐和主机一样同时开启RDB/AOF机制。
相关文章:
Redis 主从同步 问题
前言 相关系列 《Redis & 目录》(持续更新)《Redis & 主从同步 & 源码》(学习过程/多有漏误/仅作参考/不再更新)《Redis & 主从同步 & 总结》(学习总结/最新最准/持续更新)《Redis &a…...
【SQL Server】探讨 IN 和 EXISTS之间的区别
前言 在使用 SQL 查询相关表数据时,通常需要根据另一个表中的值来筛选数据。而 IN 与 EXISTS 子句都是用于此场景的常用方式,但使用时两者存在工作方式不同。它们使用上的选择会显著影响查询的性能,尤其是在大型数据集中。本文我们一起探讨 IN 和 EXISTS 之间的区别、使用与…...
清理pip和conda缓存
当用户目录没有空间时,可清理pip和conda缓存 清理conda缓存: conda clean --all清理pip缓存: pip cache purgeNote: 可以利用软链接,将用户目录下的文件链接到其他位置 首先移动文件或文件夹到其他位置 mv ~/test /…...
git rebase和merge的区别
Git merge和Git rebase是两种不同的合并策略,它们在处理分支合并时有各自的优点和缺点。 Git fetch git fetch 命令用于从远程仓库获取最新的更改,但不会自动合并这些更改到你的本地分支。它会下载远程仓库的所有分支和标签,并更新你的本地…...
【elkb】linux麒麟v10安装ELKB 8.8.X版本(ARM架构)
下载软件 相关版本信息 elasticsearch:8.8.1kibana:8.8.1logstash:8.8.1filebeat:8.8.1 下载地址 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.8.1-linux-aarch64.tar.gzhttps://artifacts.elastic…...
bluez hid host介绍,连接键盘/鼠标/手柄不是梦,安排
零. 前言 由于Bluez的介绍文档有限,以及对Linux 系统/驱动概念、D-Bus 通信和蓝牙协议都有要求,加上网络上其实没有一个完整的介绍Bluez系列的文档,所以不管是蓝牙初学者还是蓝牙从业人员,都有不小的难度,学习曲线也相对较陡,所以我有了这个想法,专门对Bluez做一个系统…...
GPT打数模——电商品类货量预测及品类分仓规划
背景 电商企业在各区域的商品存储主要由多个仓库组成的仓群承担。其中存储的商品主要按照属性(品类、件型等)进行划分和打标,便于进行库存管理。图 1 是一个简化的示意图,商品品类各异,件数众多,必须将这些…...
华为OD机试 - 螺旋数字矩阵 - 矩阵(Python/JS/C/C++ 2024 D卷 100分)
华为OD机试 2024E卷题库疯狂收录中,刷题点这里 专栏导读 本专栏收录于《华为OD机试真题(Python/JS/C/C)》。 刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,…...
分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB)
分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB) 目录 分类预测 | GCN图卷积神经网络多特征分类预测(MATLAB)分类效果基本介绍程序设计参考资料分类效果 基本介绍 GCN图卷积神经网络多特征分类预测(MATLAB) 在图卷积神经网络(GCN)中,多特征分类...
FPGA搭建PCIE3.0通信架构简单读写测试,基于XDMA中断模式,提供3套工程源码和技术支持
目录 1、前言工程概述免责声明 2、相关方案推荐我已有的PCIE方案本博客方案的PCIE2.0版本 3、PCIE基础知识4、工程详细设计方案工程设计原理框图XDMA配置及使用XDMA中断模块数据缓存架构用户逻辑Windows版本XDMA驱动安装Linux版本XDMA驱动安装测试应用程序工程源码架构PCIE上板…...
App相关技术以及打包
平时小伙伴们自己的博客网站只能在浏览器打开,但是有时候你想要制作自己独立个人博客app,宣传并推广自己的app,打造个人ip。如何把自己的web博客网站打包成安卓app? 1.开发App的相关技术使⽤ ⽬前市⾯上的移动互联开发技术主要分…...
【unity】【游戏开发】Unity代码不给提示怎么办?
【现象】 Unity用着用着忽然VS脚本不给提示了。 【分析】 重启Unity无效 重启VS无效 重装VS无效 感觉应该是项目设置问题 【最终方法】 打开Edit->Preferences。 如果是这个画面就把Script Editor改成自己的VS编辑器。 变成下面这个样子,点击Regenerate Pr…...
Kubernetes固定Pod IP和Mac地址
方案1: 在 Calico GitHub Issues#5196 问题的 commits#6249 提交中,引入新的 Pod 注释cni.projectcalico.org/hwAddr,用于将指定的 MAC 地址分配给容器端 Veth 接口。 将Calico升级至v3.24.1或以上版本,使用如下注解轻松设置Pod…...
计算机组成原理之数据的对齐和大/小端存放方式、计算机中数据对齐的具体方式有哪些
1、计算机组成原理之数据的对齐和大/小端存放方式 数据对齐 数据对齐是处理器为了提高处理性能而对存取数据的起始地址所提出的一种要求。 系统一次性读取内存中数据的大小是固定的,例如字长为32位的操作系统,默认的一次读取4字节内容。因此ÿ…...
【学术论文投稿】Windows11开发指南:打造卓越应用的必备攻略
【IEEE出版南方科技大学】第十一届电气工程与自动化国际会议(IFEEA 2024)_艾思科蓝_学术一站式服务平台 更多学术会议论文投稿请看:https://ais.cn/u/nuyAF3 目录 引言 一、Windows11开发环境搭建 二、Windows11关键新特性 三、Windows11设计指南 …...
【毕业论文+源码】基于SSM(Spring + Spring MVC + MyBatis)的房屋租赁系统
创建一个基于SSM(Spring Spring MVC MyBatis)框架的房屋租赁系统是一个涉及多个步骤的过程。这个过程包括但不限于需求分析、数据库设计、前端界面设计以及后端逻辑实现等。 1. 需求分析 首先,明确你的房屋租赁系统的功能需求。例如&…...
【golang】解析 JSON到指定结构体
1.解析[1,2,3,4]数组类型的json package mainimport ("encoding/json""fmt" )func main() {// JSON 数据jsonData : [1, 2, 3, 4]// 定义一个切片来接收解析后的数据var numbers []int// 解析 JSON 数据到切片err : json.Unmarshal([]byte(jsonData), &am…...
设计模式——过滤器模式
一、定义和概念 定义 C 过滤器模式(Filter Pattern)也称为标准模式(Criteria Pattern),是一种设计模式,用于根据不同的标准或条件从一组对象中筛选出符合条件的对象。它将筛选条件的逻辑封装在不同的过滤器…...
Unity(四十八):Unity与Web双向交互
效果 游戏对象绑定脚本 游戏脚本源码 using System.Collections; using System.Collections.Generic; using UnityEngine;public class Tent : MonoBehaviour {public Camera camera;// Start is called before the first frame updatevoid Start(){}// Update is called once…...
web前端--网页练习
html代码: <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>小米</title><!-- 引…...
信息安全入门——网络安全控制
目录 前言信息安全入门:网络安全控制基础1. 用户识别技术:确认你是谁2. 访问控制技术:定义你能做什么3. 访问控制列表(ACL):精细的权限管理4. 漏洞控制:防范未然5. 入侵检测系统(IDS…...
跟着鸟儿学飞行?扑翼机器人的感知秘籍
大家好!今天来了解一篇扑翼机器人的研究——《Avian-inspired embodied perception in biohybrid flapping-wing robotics》发表于《Nature Communications》。在广阔天空中,鸟类凭借精妙翅膀结构与敏锐感知自由翱翔,这一直吸引着科学家探索其…...
Python画笔案例-093 绘制 彩虹图
1、绘制 彩虹图 通过 python 的turtle 库绘制 彩虹图,如下图: 2、实现代码 绘制 彩虹图,以下为实现代码: """彩虹图.py """ import turtledef draw_semi_circle(radius):"""画半圆函数"""turtle...
【数据结构】贪心算法:决策的艺术
贪心算法(Greedy Algorithm)是一类在每一步选择中都采取局部最优解的方法,希望最终能够达到全局最优解。通俗地说,贪心算法的思想就是“每一步都尽量做出最好的选择”,以期望整个过程的最终结果也达到最优状态。贪心算…...
Linux LVS详解
LVS(Linux Virtual Server)即Linux虚拟服务器,是一个基于Linux操作系统的高性能、可扩展的负载均衡器。以下是对LVS的详细介绍: 一、简介 LVS项目由章文嵩博士在1998年5月发起,是中国国内最早出现的自由软件项目之一…...
LabVIEW显微镜自动对焦系统
在生物医学研究中,显微镜图像的清晰度对于细胞分析非常重要。传统的手动对焦方法容易受到人为因素的影响,因此开发了一种自动对焦技术,以提高图像采集的准确性和效率。 自动对焦方法概述 该系统结合了图像清晰度评估和一维功能优化ÿ…...
基于IP的真实地址生成器
ip-geoaddress-generator 是一个基于 Web 的在线应用程序,能够根据 IP 地址生成真实的随机地址信息。通过多个 API 获取位置数据和随机用户信息,该工具为用户提供了完整的虚拟身份。它由 Next.js 和 Radix UI 构建,具备自动检测当前 IP 地址和…...
下面程序头的三个import语句可以合并或简化么?
下面程序头的三个import语句可以合并或简化么? from tkinter.simpledialog import askinteger from tkinter import * from tkinter import messagebox ——是的,三个import语句可以合并为一个。 合并后的import语句如下所示: from tkinte…...
深度学习--CNN实现猫狗识别二分类(附带下载链接, 长期有效)
1. 代码实现(包含流程解释) 样本量: 8005 # # 1.导入数据集(加载图片)数据预处理# 进行图像增强, 通过对图像的旋转 ,缩放,剪切变换, 翻转, 平移等一系列操作来生成新样本, 进而增加样本容量, # 同时对图片数值进行归一化[0:1] from tensorflow.keras.preprocessing.image …...
Depcheck——专门用于检测 JavaScript 和 Node.js 项目中未使用依赖项的工具
文章目录 Depcheck 是什麽核心功能📚检测未使用的依赖🐛检测缺失的依赖✨支持多种文件类型🌍可扩展性 安装与使用1. 安装 Depcheck2. 使用 Depcheck Depcheck 的应用总结项目源码: Depcheck 是什麽 来看一个常见错误场景…...
现在个人做网站还能盈利吗/怎么做推广
前言 太悲伤了啊实在是,T4打错一个地方少了70分,直接从比较稳一点的分数一下子掉到了及格线边缘/kk 比赛过程 先是很草率地看了一眼题 T1直接切,然后就感觉飘了?? T2看了题,然后也是蛮快地就打完了&…...
彩票网站做一级代理犯法吗/网络推广公司名字
挂载 NFS 远程目录备份 Oracle 数据库(第13天) ->返回总目录<- 前面讲了如何在 Oracle 本地定时备份数据库,但是这种方式用的人比较少,因为如果本地磁盘坏了就会导致数据库和备份同时丢失,无法找回数据,风险也比较大。 针对这种情况,比较常用的方式是通过存储挂…...
2024免费推广网站/中小企业网站制作
一. 基础环境准备操作系统:Ubuntu16.04Server先sudo apt-get install vim openssh-server,便于后续上传源码以及调试。看一下现在openssh的版本:zjdubuntu:~$ ssh -VOpenSSH_7.2p2 Ubuntu-4ubuntu2.6, OpenSSL 1.0.2g 1 Mar …...
网站伪静态/西安企业网站seo
Activity、Service和线程应该是Android编程中最常见的几种类了,几乎大多数应用程序都会涉及到这几个类的编程,自然而然的,也就会涉及到三者之间的相互通信,本文就试图简单地介绍一下这三者通信的方式。想…...
flash型网站/百度统计app下载
UDP协议是无面向连接的、不可靠的、无序的、无流量控制的传输层协议,UDP发送的每个数据报是记录型的数据报,所谓的记录型数据报就是接收进程可以识别接收到的数据报的记录边界。TCP协议是面向连接的、可靠的、有序的、拥有流量控制的传输层协议ÿ…...
青岛网站seo技巧/seo外链工具有用吗
一、Spring数据访问模板 Spring提供的数据访问模板,分别适用于不同的持久化机制。 模板类(org.springframework.*)用途jca.cci.core.CciTemplateJCA CCI连接jdbc.core.JdbcTemplateJDBC连接jdbc.core.namedparam.NamedParameterJdbcTemplate支…...