当前位置: 首页 > news >正文

高可用/性能

文章目录

    • 1.数据库系统架构发展
      • (1)单库架构
      • (2)主备架构
      • (3)主从架构
    • 2.主从复制
      • 主从同步配置
      • 主从复制模式
        • (1)异步复制
        • (2)半同步复制
        • (3)全同步复制
      • 主从复制原理
    • 3.主从延时原因
    • 4.主从延时解决办法
      • (1)数据同步写方案
      • (2)选择性强制读主
      • (3)中间件选择路由法
      • (4)缓存路由法

1.数据库系统架构发展

(1)单库架构

在这里插入图片描述
缺点:

  • 若数据库出现故障,这段期间业务将会不可用。除了等待重启,没什么解决办法。

(2)主备架构

「主库」出了故障,通过人工方式,手动的将「主机」踢下线,将「备机」改为「主机」继续提供服务。部署维护简单,业务开发也无需任何改造。
在这里插入图片描述
缺点:

  • 不过缺点也很明显,备库只有在主库有问题的时候才会被启用,存在一定的资源浪费的情况。

(3)主从架构

大多数业务都是读多写少,数据库读最容易成为系统瓶颈。为提高读的性能,可以增加从实例,主从数据同步,实现读写分离。
在这里插入图片描述

2.主从复制

主从同步配置

https://www.cnblogs.com/SimpleWu/p/10982640.html

主从复制模式

MySQL主从复制模式主要包含:异步复制、半同步、以及全同步复制三种复制模式。

(1)异步复制

MySQL默认复制是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端。

MySQL异步复制并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从库上。所以,后面又出来了一个半同步复制。

(2)半同步复制

半同步复制介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relaylog中才返回给客户端。

相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

(3)全同步复制

是指当主库执行完一个事务,然后所有的从库都复制了该事务并成功执行完才返回成功信息给客户端。

因为需要等待所有从库执行完该事务才能返回成功信息,所以全同步复制的性能必然会收到严重的影响。

主从复制原理

  1. master创建一个dump线程向slave推送binlog。
  2. slave连接到master的时候,会创建一个IO线程接收binlog,并记录到relay log中继日志中。
  3. slave再开启一个sql线程读取relay log事件并在slave执行,完成同步。
  4. slave记录自己的binglog。
    在这里插入图片描述

3.主从延时原因

一个服务器开放N个链接给客户端来连接的,这样有会有大并发的更新操作, 但是从服务器的里面读取 binlog 的线程仅有一个,当某个 SQL 在从服务器上执行的时间稍长 或者由于某个 SQL 要进行锁表就会导致,主服务器的 SQL 大量积压,未被同步到从服务器里。这就导致了主从不一致, 也就是主从延迟。

4.主从延时解决办法

(1)数据同步写方案

主从数据同步方案,一般采用异步方式同步给从库。可将其修改为同步方案,主从同步完成,主库上的写才能返回。这种方案,我们只需要修改数据库之间同步配置即可,业务层无需修改,相对简单。

  1. 业务系统发起写操作,数据写主库
  2. 写请求需要等待主从同步完成才能返回
  3. 数据读从库,主从同步完成就能读到最新数据
    在这里插入图片描述

缺点:

  • 由于主库写需要等待主从完成,写请求的时延将会增加,吞吐量将会降低。对于在线业务,可能无法接受。

(2)选择性强制读主

对于需要强一致的场景,将其读请求都操作主库,这样「读写都在主库」,就没有不一致的情况。这种方案业务层需要改造一下,将其强制性读主,相对改造难度较低。
在这里插入图片描述
缺点:

  • 浪费了另一个数据库,增加主库的压力

(3)中间件选择路由法

这种方案需要使用一个中间件(淘宝TDDL,ShardingSphere client版本),所有数据库操作都先发到中间件,由中间件再分发到相应的数据库。
在这里插入图片描述

  1. 写请求,中间件将会发到主库,同时记录一下此时写请求的 key( 操作表加主键等)
  2. 读请求,如果此时 key 存在,将会路由到主库
  3. 一定时间后( 经验值),中间件认为主从同步完成,删除这个 key,后续读将会读从库

缺点:

  • 系统架构增加了一个中间件,整体复杂度变高,业务开发也变得复杂,学习成本也比较高。

(4)缓存路由法

这种方案与中间件的方案流程比较类似,不过改造成本相对较低,不需要增加任何中间件。
在这里插入图片描述

  1. 写请求发往主库,同时缓存记录操作的 key,缓存的失效时间设置为主从的延时
  2. 读请求首先判断缓存是否存在
    • 若存在,代表刚发生过写操作,读请求操作主库
    • 若不存在,代表近期没发生写操作,读请求操作从库

缺点:

  • 这种方案相对中间件的方案成本较低,但是呢我们此时又引入一个缓存组件,所有读写之间就又多了一步缓存操作。

相关文章:

高可用/性能

文章目录1.数据库系统架构发展(1)单库架构(2)主备架构(3)主从架构2.主从复制主从同步配置主从复制模式(1)异步复制(2)半同步复制(3)全…...

PriorityQueues优先队列

优先队列优先队列(priority queue)是计算机科学中的一类抽象数据类型。优先队列中的每个元素都有各自的优先级,优先级最高的元素最先得到服务;优先级相同的元素按照其在优先队列中的顺序得到服务。优先队列通常使用“堆”&#xf…...

arm 堆栈

先转一篇 stm32 堆和栈(stm32 Heap & Stack)【worldsing笔记】_stm32堆栈_slj_win的博客-CSDN博客 关于堆和栈已经是程序员的一个月经话题,大部分有是基于os层来聊的。 那么,在赤裸裸的单片机下的堆和栈是什么样的分布呢?以下是网摘&…...

leetcode-面试题 05.02. Binary Number to String LCCI

Description Given a real number between 0 and 1 (e.g., 0.72) that is passed in as a double, print the binary representation. If the number cannot be represented accurately in binary with at most 32 characters, print “ERROR”. Example1: Input: 0.625Outpu…...

C语言函数阐述

C 函数 函数是一组一起执行一个任务的语句。每个 C 程序都至少有一个函数,即主函数 main() ,所有简单的程序都可以定义其他额外的函数。 您可以把代码划分到不同的函数中。如何划分代码到不同的函数中是由您来决定的,但在逻辑上&#xff0c…...

二叉树——把二叉搜索树转换为累加树

538. 把二叉搜索树转换为累加树 链接 给出二叉 搜索 树的根节点,该树的节点值各不相同,请你将其转换为累加树(Greater Sum Tree),使每个节点 node 的新值等于原树中大于或等于 node.val 的值之和。 提醒一下&#xf…...

Java使用DFA算法实现敏感词过滤

1 前言敏感词过滤就是你在项目中输入某些字(比如输入xxoo相关的文字时)时要能检测出来,很多项目中都会有一个敏感词管理模块,在敏感词管理模块中你可以加入敏感词,然后根据加入的敏感词去过滤输入内容中的敏感词并进行…...

UG NX二次开发(C#)-外挂 - 配置文件说明(.men文件/.rtb文件/.trb文件)

文章目录 1、前言2、UG NX菜单说明2.1UG NX的Ribbon样式说明2.2 UG NX的Ribbon配置文件3、外挂的加载配置文件说明3.1 创建配置文件夹3.2 填写.men文件3.2 填写.rtb文件3.2 填写.tbr文件4、将外挂加载到UG NX菜单中5、重启UG NX,就可以实现外挂加载了。1、前言 UG NX二次开发…...

Web3中文|日本元宇宙经济“狂飙”

2月27日,三菱、富士通和其它科技公司发布关于建立“日本元宇宙经济区”的协议,表示将联手从角色扮演游戏的角度创建开放的元宇宙基础设施,以推动日本的Web3战略。据了解,日本一直在努力将Web3技术纳入其国家议程,去年1…...

@Autowired和@Resource到底有什么区别

Autowired 和 Resource 都是 Spring/Spring Boot 项目中,用来进行依赖注入的注解。它们都提供了将依赖对象注入到当前对象的功能,但二者却有众多不同,并且这也是常见的面试题之一,所以我们今天就来盘它。 Autowired 和 Resource 的…...

2023年最新阿里云服务器价格表出炉(精准收费标准及配置价格表)

阿里云在全球率先宣布了基于 Intel Ice Lake 处理器的第七代云服务器ECS,性能提升的同时降低了报价,性价比更高了。进入2023年阿里云服务器价格依然是大家关心的问题,事实上阿里云服务器租用价格和最新收费标准都可以通过官方云服务器计算器来…...

ElasticSearch - SpringBoot整合ES实现文档的增删改操作

文章目录1. ElasticSearch和kibana的安装和配置2. SpringBoot 项目环境搭建3. 创建索引4. 索引文档5. 更新文档6. 删除文档https://www.elastic.co/guide/en/elasticsearch/reference/current/search-your-data.htmlhttps://www.elastic.co/guide/cn/elasticsearch/guide/curre…...

嵌入式 LVGL移植到STM32F4

目录 LVGL简介 1、特点 2、LVGL的硬件要求 3、相关网站 4、LVGL源码下载 5、LVGL移植要求 5.1 移植过程-添加源码 2、更改接口文件 3、显示实现 4、添加外部中文字体的方法 5、编译下载后有几种情况 6、调用显示 6、GUI-Guider使用 6.1 安装软件 6.2 使用…...

VSCode——SSH免密登录

文章目录本地PC端(一般为Windows)1. 检查自己是否已经生成公钥2. 配置VScode的SSH config远程服务器端1. 服务器新建授权文件2. 赋权限3. 重启远程服务器的ssh服务最全步骤:【设置ssh免密不起作用?彻底搞懂密钥】vscode在remote S…...

python未来应用前景怎么样

Python近段时间一直涨势迅猛,在各大编程排行榜中崭露头角,得益于它多功能性和简单易上手的特性,让它可以在很多不同的工作中发挥重大作用。 正因如此,目前几乎所有大中型互联网企业都在使用 Python 完成各种各样的工作&#xff0…...

webpack基本使用和开发环境配置

目录 1 webpack 基本使用 01 webpack 简介 02 webpack 初体验 2 webpack开发环境配置 03 打包样式资源 04 打包html资源 05 打包图片资源 06 打包其他资源(以打包icon为例) 07 devServer 08.开发环境配置 1 webpack 基本使用 由于笔记文档没有…...

3.2 http协议

一.HTTP协议1.概述是计算机网络的核心概念,是一种网络协议网络协议种类非常多,其中IP,TCP,UDP...其中还有一个应用非常广泛的协议.HTTPHTTP协议是日常开发中用的最多的协议HTTP处在TCP/IP五层协议栈的应用层HTTP在传输层是基于TCP的,(http/1 HTTP/2是基于TCP,最新版本的HTTP/3是…...

页面访问升级出错怎么解决

相信大家在访问网站的时候时常会遇到页面访问界面升级,暂时不可能进行访问操作,可能遇到这种情况很多小伙伴们都不知道怎么版,其实互联网网页在正常使用过程中是不会出现这种问题的。那么如果遇到页面访问界面升级怎么办?页面访问界面升级通…...

leetcode 181. 超过经理收入的员工

SQL架构 表:Employee ---------------------- | Column Name | Type | ---------------------- | id | int | | name | varchar | | salary | int | | managerId | int | ---------------------- Id是该表的主键。 该表的…...

任务类风险漏洞挖掘思路

任务类风险定义: 大部分游戏都离不开任务,游戏往往也会借助任务,来引导玩家上手,了解游戏背景,增加游戏玩法,提升游戏趣味性。任务就像线索,将游戏的各个章节,各种玩法,…...

【仅限首批认证架构师获取】:MCP 2026智能分配黄金配置矩阵(含GPU/NPU/FPGA异构资源权重公式+实时弹性系数表)

更多请点击: https://intelliparadigm.com 第一章:MCP 2026智能分配黄金配置矩阵的战略定位与演进逻辑 MCP 2026(Multi-Constraint Portfolio)智能分配黄金配置矩阵并非传统资产配置的线性升级,而是面向超大规模异构算…...

告别终端启动:在Ubuntu上为Pycharm创建桌面快捷方式的两种方法

告别终端启动:在Ubuntu上为Pycharm创建桌面快捷方式的两种方法 每次打开Pycharm都要在终端输入./pycharm.sh,这种操作方式对于习惯了Windows或macOS图形化操作的用户来说,确实显得有些原始和低效。作为一个长期在Ubuntu上使用Pycharm进行Pyth…...

基于MCP协议与混合搜索的AI Agent持久化记忆系统palaia实践指南

1. 项目概述:为AI Agent团队构建持久化知识系统如果你和我一样,在深度使用AI Agent(比如OpenClaw、Claude Code)进行开发或自动化任务时,经常被一个问题困扰:Agent没有记忆。每次对话、每个任务&#xff0c…...

三步掌握Mem Reduct:让Windows内存清理工具发挥最大效能

三步掌握Mem Reduct:让Windows内存清理工具发挥最大效能 【免费下载链接】memreduct Lightweight real-time memory management application to monitor and clean system memory on your computer. 项目地址: https://gitcode.com/gh_mirrors/me/memreduct …...

ComfyUI-Manager:3大核心功能彻底解决AI绘画插件管理难题

ComfyUI-Manager:3大核心功能彻底解决AI绘画插件管理难题 【免费下载链接】ComfyUI-Manager ComfyUI-Manager is an extension designed to enhance the usability of ComfyUI. It offers management functions to install, remove, disable, and enable various cu…...

逆向瑞数6代Cookie生成:从‘缺啥补啥’到环境代理的完整思路拆解

逆向瑞数6代Cookie生成:从环境检测到动态代理的深度对抗 在JavaScript逆向工程领域,瑞数动态安全防护一直以其复杂的环境检测机制著称。特别是第六代防护(简称r6),通过多层次的环境指纹识别和行为监控,构建…...

利用Taotoken CLI工具一键配置多款ai开发环境

利用Taotoken CLI工具一键配置多款AI开发环境 1. 安装Taotoken CLI工具 Taotoken CLI工具提供两种安装方式,适用于不同使用场景。对于需要频繁使用CLI的用户,推荐全局安装: npm install -g taotoken/taotoken对于临时使用或项目内集成&…...

手把手教你用PaddleOCR的SVTR模型:从环境搭建到中文场景文字识别实战

手把手教你用PaddleOCR的SVTR模型:从环境搭建到中文场景文字识别实战 在数字化浪潮席卷各行各业的今天,光学字符识别(OCR)技术已成为连接物理世界与数字世界的桥梁。无论是金融行业的票据处理、零售行业的商品标签识别&#xff0c…...

有人AI算力主机 | 多源数据,AI分析,边缘智理

工业物联网向边缘智能深度演进,机器视觉图像、设备时序传感、环境感知传感、多源融合数据的边缘端实时AI 分析,成为工业智能化升级的核心抓手。有人物联 AI 算力主机(EG9 系列、EG628-S/EG828-S、SH800/SH900 等)精准聚焦工业四大…...

别再死记硬背Transformer了!用PyTorch手写一个简易版,彻底搞懂Encoder和Decoder

从零构建Transformer:用PyTorch实现编码器与解码器的核心逻辑 在自然语言处理领域,Transformer架构已经成为现代AI系统的基石。但很多学习者在理解其工作原理时陷入了一个怪圈——能够背诵自注意力公式,却无法用代码实现最基本的版本&#xf…...