赶紧收藏!2024 年最常见 20道分布式、微服务面试题(五)
上一篇地址:赶紧收藏!2024 年最常见 20道分布式、微服务面试题(四)-CSDN博客
九、在分布式系统中,如何保证数据一致性?
在分布式系统中保证数据一致性是一个复杂的问题,因为分布式系统由多个独立的节点组成,这些节点可能分布在不同的地理位置,通过网络进行通信。以下是一些常见的策略和技术,用于在分布式系统中确保数据一致性:
-
强一致性模型:
- 强一致性要求系统在任何时候都能保证所有节点上的数据是一致的。这通常通过同步复制实现,即在数据被写入一个节点后,必须同步到所有其他节点。
-
最终一致性模型:
- 最终一致性是一种更灵活的一致性模型,它允许在写操作后短时间内出现数据不一致的情况,但保证数据最终会达到一致状态。这种模型通常通过异步复制实现。
-
分布式事务:
- 分布式事务允许跨多个节点执行一系列操作,这些操作要么全部成功,要么全部失败,以保持数据的一致性。两阶段提交(2PC)和三阶段提交(3PC)是实现分布式事务的常见协议。
-
一致性哈希:
- 一致性哈希是一种分布式哈希技术,它在增加或删除节点时,只影响一小部分数据的映射关系,从而减少数据重新分布的开销。
-
数据版本控制:
- 通过为数据项添加版本号或时间戳,可以跟踪数据的变化,并解决更新冲突。
-
向量时钟:
- 向量时钟是一种用于检测和解决分布式系统中因果关系的机制,它可以帮助确定不同事件的顺序。
-
冲突解决策略:
- 在最终一致性模型中,当检测到数据冲突时,需要定义冲突解决策略,如“最后写入胜出”、“客户端合并”或“服务器端合并”。
-
事件驱动架构:
- 事件驱动架构通过发布/订阅模式来异步地传播状态变化,从而实现不同节点之间的数据同步。
-
分布式锁:
- 分布式锁可以确保在分布式系统中,对于共享资源的访问是互斥的,防止并发写入导致的数据不一致。
-
CAP定理:
- CAP定理指出,在分布式系统中,一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance)三个属性中,最多只能同时满足两个。根据CAP定理,系统设计者需要在一致性和可用性之间做出权衡。
-
Raft和Paxos算法:
- Raft和Paxos是两种用于在分布式系统中达成共识的算法,它们可以用于实现数据复制和一致性。
-
数据备份和恢复:
- 定期备份数据并在必要时进行恢复,是保证数据一致性的另一种方法。
-
监控和警报:
- 监控系统的状态,并在检测到不一致时发出警报,可以帮助快速响应和解决问题。
在设计分布式系统时,需要根据具体的业务需求和系统特性选择合适的一致性模型和策略。通常,没有一种通用的解决方案能够适用于所有场景,因此需要综合考虑性能、可用性、复杂性和业务需求等因素。
十、什么是CQRS(命令查询责任分离)模式?
CQRS(命令查询责任分离)是一种软件架构模式,它将应用程序中的读(查询)操作和写(命令)操作分离开来处理。这种分离可以提高应用程序的可扩展性、性能和复杂性管理。以下是CQRS模式的一些关键概念和特点:
-
分离读写模型:CQRS模式的核心思想是将数据的读取(查询)和写入(命令)操作分离到不同的模型中。这意味着查询和命令可能使用不同的数据存储、不同的数据结构,甚至可能在不同的数据库中。
-
命令模型:命令模型负责处理所有改变系统状态的操作,如创建、更新或删除数据。这些操作通常以命令的形式表达,例如“创建订单”或“更新用户信息”。
-
查询模型:查询模型专注于提供数据读取操作,如检索数据记录或执行搜索。查询模型可以针对读取操作进行优化,例如使用缓存、索引或特定的查询语言。
-
事件溯源(Event Sourcing):CQRS模式经常与事件溯源结合使用。在事件溯源中,每个命令执行的结果都被记录为事件,这些事件随后可以用来重建系统状态或更新查询模型。
-
异步更新:在CQRS中,查询模型的更新可能是异步的。当命令模型接收到命令并执行后,它会产生事件,这些事件随后被用来更新查询模型,但这个过程可能不是即时的。
-
数据一致性:CQRS模式通常与最终一致性模型一起使用。这意味着系统可能在命令执行后的短时间内处于不一致状态,但最终会达到一致性。
-
可扩展性:由于读写操作分离,系统可以根据需求独立扩展读写资源。例如,如果一个系统读操作远多于写操作,可以扩展更多的查询模型实例来处理读请求。
-
职责明确:CQRS模式使得开发人员可以更清晰地定义和实现应用程序的不同部分。命令处理逻辑和查询逻辑可以独立开发和维护。
-
复杂性管理:虽然CQRS模式增加了架构的复杂性,但它也使得复杂性更加可控。开发人员可以专注于优化命令或查询的处理,而不是试图在一个模型中同时优化两者。
-
领域驱动设计(DDD):CQRS模式与DDD紧密相关,DDD强调根据业务领域来设计软件,而CQRS允许更清晰地分离和实现领域模型中的不同职责。
CQRS模式适用于需要高可扩展性和高性能的应用程序,尤其是在读操作远多于写操作的场景中。然而,它也带来了一些挑战,如数据一致性管理、事件处理的复杂性以及可能的架构复杂性增加。因此,在决定是否采用CQRS模式时,需要仔细考虑其优缺点以及对特定应用程序的适用性。
相关文章:
赶紧收藏!2024 年最常见 20道分布式、微服务面试题(五)
上一篇地址:赶紧收藏!2024 年最常见 20道分布式、微服务面试题(四)-CSDN博客 九、在分布式系统中,如何保证数据一致性? 在分布式系统中保证数据一致性是一个复杂的问题,因为分布式系统由多个独…...
为什么Kubernetes(K8S)弃用Docker:深度解析与未来展望
为什么Kubernetes弃用Docker:深度解析与未来展望 🚀 为什么Kubernetes弃用Docker:深度解析与未来展望摘要引言正文内容(详细介绍)什么是 Kubernetes?什么是 Docker?Kubernetes 和 Docker 的关系…...
软件游戏提示msvcp120.dll丢失的解决方法,总结多种靠谱的解决方法
在电脑使用过程中,我们可能会遇到一些错误提示,其中之一就是“找不到msvcp120.dll”。那么,msvcp120.dll是什么?它对电脑有什么影响?有哪些解决方法?本文将从以下几个方面进行探讨。 一,了解msv…...
使用kafka tools工具连接带有用户名密码的kafka
使用kafka tools工具连接带有用户名密码的kafka 创建kafka连接,配置zookeeper 在Security选择Type类型为SASL Plaintext 在Advanced页面添加如下图红框框住的内容 在JAAS_Config加上如下配置 需要加的配置: org.apache.kafka.common.security.plain.Pla…...
[个人感悟] Java基础问题应该考察哪些问题?
前言 “一切代码无非是数据结构和算法流程的结合体.” 忘了最初是在何处看见这句话了, 这句话, 对于Java基础的考察也是一样. 正如这句话所说, 我们对于基础的考察主要考察, 数据结构, 集合类型结构, 异常类型, 已经代码的调用和语法关键字. 其中数据结构和集合类型结构是重点…...
MySQL-主从复制
1、主从复制的理解 在工作用常见Redis作为缓存与MySQL一起使用。当有请求时,首先会从缓存中进行查找,如果存在就直接取出,否则访问数据库,这样 提升了读取的效率,也减少了对后台数据库的访问压力。Redis的缓存架构时高…...
开发没有尽头,尽力既是完美
最近遇到了一些难题,开发系统总有一些地方没有考虑周全,偏偏用户使用的时候“完美复现”了这个隐藏的Bug...... 讲道理创业一年之久为了生存,我一直都有在做复盘,复盘的核心就是:如何提升营收、把控开发质量࿰…...
【手推公式】如何求SDE的解(附录B)
【手推公式】如何求SDE的解(附录B) 核心思路:不直接求VE和VP的SDE的解xt,而是求xt的期望和方差,从而写出x0到xt的条件分布形式(附录B) 论文:Score-Based Generative Modeling throug…...
STM32F103单片机工程移植到航顺单片机HK32F103注意事项
一、简介 作为国内MCU厂商中前三阵营之一的航顺芯片,建立了世界首创超低功耗7nA物联网、万物互联核心处理器浩瀚天际10X系列平台,接受代理商/设计企业/方案商定制低于自主研发十倍以上成本,接近零风险自主品牌产品,芯片设计完成只…...
Llama模型家族之Stanford NLP ReFT源代码探索 (四)Pyvene论文学习
LlaMA 3 系列博客 基于 LlaMA 3 LangGraph 在windows本地部署大模型 (一) 基于 LlaMA 3 LangGraph 在windows本地部署大模型 (二) 基于 LlaMA 3 LangGraph 在windows本地部署大模型 (三) 基于 LlaMA…...
rapidjson 打包过程插入对象
开发过程中遇到一种情况,在打包过程中插入一个字符串(里面是json对象), 官方文档 没看到相关例子,不知道是不是自己粗心没找到。方法RawValue其实是一个通用打包方法,一般情况我们都调用的是String()、Int(…...
NVeloDocx一个基于NVelocity的word模版引擎
NVeloDocx是一个基于NVelocity的Word模版引擎,目前主要是用于E6低代码开发平台供用户轻松制作各种Word报告模版。 有以下优点: 1、完全的NVelocity语法; 2、直接在Word中写NVelocity脚本,使用非常非常方便; 3、完全兼…...
【JavaEE】Spring IoCDI详解
一.基本概念 1.Ioc基本概念 Ioc: Inversion of Control (控制反转), 也就是说 Spring 是⼀个"控制反转"的容器. 什么是控制反转呢? 也就是控制权反转. 什么的控制权发发了反转? 获得依赖对象的过程被反转了也就是说, 当需要某个对象时, 传统开发模式中需要自己通…...
Bean的作用域
singleton : 单例,IOC 容器中只有唯一的 bean 实例。Spring 中的 bean 默认都是单例的,是对单例设计模式的应用。 prototype : 原型,每次获取都会创建一个新的 bean 实例。也就是说,连续 getBean() 两次,得到的是不同…...
卡尔曼滤波器例子
卡尔曼滤波器 卡尔曼滤波器(Kalman Filter)是一种用于线性系统状态估计的递归算法,可以有效地融合传感器数据和系统模型来估计系统的状态。它在机器人学中广泛应用,尤其是位置和速度等状态的估计。通过卡尔曼滤波器,可以有效地估计机器人在二维平面内的真实位置,并减小测…...
Web前端发展路线:深度解析与未来展望
Web前端发展路线:深度解析与未来展望 在数字化时代的浪潮中,Web前端技术日新月异,成为推动互联网行业发展的重要引擎。本文将从四个方面、五个方面、六个方面和七个方面,深入探讨Web前端的发展路线,为您揭示这一领域的…...
Unity3D入门基础知识汇总
1. unity界面 右上边可以切换布局。 左边选择Shaded wireframe,可以看到3D物体的都是由三角形组成的。 2. 物体显示 网格(三角形构成) 材质 3. 资源商店 Windows -> Asset Store 挑出喜欢的资源之后,点击”添加至我的…...
Triton学习笔记
b站链接:合集Triton 从入门到精通 文章目录 算法名词解释:scheduler 任务调度器model instance、inference和requestbatching 一、Triton Inference Server原理1. Overview of Trition2. Design Basics of Trition3. Auxiliary Features of Trition4. A…...
办理公司诉讼记录删除行政处罚记录删除
企业行政处罚记录是可以做到撤销消除的,一直被大多数企业忽略,如果相关诉讼记录得不到及时删除,不仅影响企业招投标,还影响企业的贷款申请,严重的让企业资金链断裂,影响企业长远发展和企业形象。行政处罚是…...
IO流字符流(FileReader与FileWriter)
目录 FileReader 空参read方法 带参read方法👇 FileWriter void write(intc) 写出一个字符 void write(string str) 写出一个字符串 void write(string str,int off,int len) 写出一个字符串的一部分 void write(char[] cbuf) …...
使用分级同态加密防御梯度泄漏
抽象 联邦学习 (FL) 支持跨分布式客户端进行协作模型训练,而无需共享原始数据,这使其成为在互联和自动驾驶汽车 (CAV) 等领域保护隐私的机器学习的一种很有前途的方法。然而,最近的研究表明&…...
TRS收益互换:跨境资本流动的金融创新工具与系统化解决方案
一、TRS收益互换的本质与业务逻辑 (一)概念解析 TRS(Total Return Swap)收益互换是一种金融衍生工具,指交易双方约定在未来一定期限内,基于特定资产或指数的表现进行现金流交换的协议。其核心特征包括&am…...
UR 协作机器人「三剑客」:精密轻量担当(UR7e)、全能协作主力(UR12e)、重型任务专家(UR15)
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中,UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
快刀集(1): 一刀斩断视频片头广告
一刀流:用一个简单脚本,秒杀视频片头广告,还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农,平时写代码之余看看电影、补补片,是再正常不过的事。 电影嘛,要沉浸,…...
Cilium动手实验室: 精通之旅---13.Cilium LoadBalancer IPAM and L2 Service Announcement
Cilium动手实验室: 精通之旅---13.Cilium LoadBalancer IPAM and L2 Service Announcement 1. LAB环境2. L2公告策略2.1 部署Death Star2.2 访问服务2.3 部署L2公告策略2.4 服务宣告 3. 可视化 ARP 流量3.1 部署新服务3.2 准备可视化3.3 再次请求 4. 自动IPAM4.1 IPAM Pool4.2 …...
jdbc查询mysql数据库时,出现id顺序错误的情况
我在repository中的查询语句如下所示,即传入一个List<intager>的数据,返回这些id的问题列表。但是由于数据库查询时ID列表的顺序与预期不一致,会导致返回的id是从小到大排列的,但我不希望这样。 Query("SELECT NEW com…...
Spring AOP代理对象生成原理
代理对象生成的关键类是【AnnotationAwareAspectJAutoProxyCreator】,这个类继承了【BeanPostProcessor】是一个后置处理器 在bean对象生命周期中初始化时执行【org.springframework.beans.factory.config.BeanPostProcessor#postProcessAfterInitialization】方法时…...
车载诊断架构 --- ZEVonUDS(J1979-3)简介第一篇
我是穿拖鞋的汉子,魔都中坚持长期主义的汽车电子工程师。 老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 做到欲望极简,了解自己的真实欲望,不受外在潮流的影响,不盲从,不跟风。把自己的精力全部用在自己。一是去掉多余,凡事找规律,基础是诚信;二是…...
算法—栈系列
一:删除字符串中的所有相邻重复项 class Solution { public:string removeDuplicates(string s) {stack<char> st;for(int i 0; i < s.size(); i){char target s[i];if(!st.empty() && target st.top())st.pop();elsest.push(s[i]);}string ret…...
ffmpeg(三):处理原始数据命令
FFmpeg 可以直接处理原始音频和视频数据(Raw PCM、YUV 等),常见场景包括: 将原始 YUV 图像编码为 H.264 视频将 PCM 音频编码为 AAC 或 MP3对原始音视频数据进行封装(如封装为 MP4、TS) 处理原始 YUV 视频…...
