后端进阶-分库分表
文章目录
- 为什么需要分库
- 为什么需要分表
- 什么时候需要分库分表
- 只需要分库
- 只需要分表
- 分库分表解决方案
- 垂直分库
- 水平分库
- 垂直分表
- 水平分表
- 分库分表常用算法
- 范围算法
- hash分片
- 查表分片
- 分库分表模式
- 客户端模式
- 代理模式
今天跟着训练营学习了分库分表,整理了学习笔记。
为什么需要分库
单机的数据库连接数是有限的,在高并发的场景下同时操作一个数据库容易将连接耗尽,使后序的数据库访问无法正常进行。
同时也是容量问题,单机容量毕竟使有限的,当存储量不断增加,数据库的容量无法全部承载。用多个库在存储,增加数据库的实列。
为什么需要分表
当一张表的数据库很大的时候,查询会变得很慢,虽然底层基于b+树速度还是很快的。分表可以减少每个表中的数据量,提高查询的效率。
提升写入性能,分表分散写入压力。
减轻锁的竞争,大表容易出现锁的竞争,导致性能下降。
什么时候需要分库分表
只需要分库
连接数不够需要进行分库。
微服务场景业务拆分,进行微服务拆分的时候根据业务边界,将各个业务的数据从数据库中拆分出来。
比如电商微服务系统,将订单、物流、商品、会员等分别存储到独立数据库中。
只需要分表
数据量太大了,单表超过了500万行或者单表数据量超过了2GB,就推荐分表了。单表数据库多,并发量不高,查询和存储性能遇到了瓶颈。
分库分表解决方案
垂直分库
专库专用,根据不同的业务将数据放在不同的数据库中去。
水平分库
将单表数据库切分到多个数据库服务器上去,每个库结构一样。来实现水平拓展。
垂直分表
垂直分表使对业务中字段较多的大表进行的一种优化策略,比如用户表分为两个,一个是用户的基本信息,还有一个是用户的详细信息。拆分后的小标只包含部分字段,两个表之间通过主键和外键关联。
水平分表
将一个表数据分到多个表中去。
分库分表常用算法
范围算法
根据时间、地点等信息,进行分库分表。

hash分片


查表分片







分库分表模式
客户端模式
小公司使用


代理模式


相关文章:
后端进阶-分库分表
文章目录 为什么需要分库为什么需要分表 什么时候需要分库分表只需要分库只需要分表 分库分表解决方案垂直分库水平分库垂直分表水平分表 分库分表常用算法范围算法hash分片查表分片 分库分表模式客户端模式代理模式 今天跟着训练营学习了分库分表,整理了学习笔记。…...
Apple开发者应用商店(AppStore)描述文件及ADHOC描述文件生成
创建AD HOC描述文件 1.选中Profiles,然后点击加号创建 2.创建已注册设备可安装描述文件 3.选择要注册的id 4.选择证书 5.选择设备 6.输入文件名,点击生成 7.生成成功,点击下载...
【Git】修改设置 git 的 username、email
设置全局的本地用户名称和用户邮箱 参考:使用git config --global设置用户名和邮件 git config --global user.name "xxx" git config --global user.email "xxx.com"git config --list git config命令的–global参数,用了这个参数…...
python脚本打包为exe并在服务器上设置定时执行
python脚本打包为exe并在服务器上设置定时执行 1. Python脚本打包2. 将打包好的Python脚本放入服务器3. 在服务器上设置其定时执行 1. Python脚本打包 首先,下载pyinstaller 键盘winR打开终端,输入命令:pip install pyinstaller,…...
STM32-呼吸灯仿真
目录 前言: 一.呼吸灯 二.跑马灯 三. 总结 前言: 本篇的主要内容是关于STM32-呼吸灯的仿真,包括呼吸灯,跑马灯的实现与完整代码,欢迎大家的点赞,评论和关注. 接上http://t.csdnimg.cn/mvWR4 既然已经点亮了一盏灯,接下来就可以做更多实验了, 一.呼吸灯 在上一个的基础上…...
【AI基础】第三步:纯天然保姆喂饭级-安装并运行chatglm2-6b
chatglm2构建时使用了RUST,所以在安装chatglm2之前,先安装RUST。 此系列文章列表: 【AI基础】第一步:安装python开发环境-windows篇_下载安装ai环境python-CSDN博客 【AI基础】第一步:安装python开发环境-conda篇_mini…...
Spring Security系列之Handler
概述 与Spring、Spring MVC、Spring Boot一样,Spring Security里也有很多Handler接口、可以分为两大类,一类是普通的XxxHandler(见名知意),另一类是对应的ServerXxxHandler(RequestRejectedHandler除外&am…...
Thinkphp使用Elasticsearch查询
在Thinkphp中调用ES,如果自己手写json格式的query肯定是很麻烦的。我这里使用的是ONGR ElasticsearchDSL 构建 ES 查询。ongr ElasticsearchDSL 的开源项目地址:GitHub - ongr-io/ElasticsearchDSL: Query DSL library for Elasticsearch。ONGR Elastics…...
开源日志分析平台ELK实战应用
1.开源日志分析平台ELK概述及搭建过程 ELK 是一个开源的日志管理平台,由 Elasticsearch、Logstash 和 Kibana 三个组件组成。这个平台广泛用于实时日志处理和分析。下面简单介绍一下每个组件的作用以及如何搭建一个基本的 ELK 栈。 ELK 组件 Elasticsearch:是一个搜索和分析…...
css基本操作及使用
CSS 的基本简介 什么是 CSS? CSS 指层叠样式表 (Cascading Style Sheets) 样式定义如何显示 HTML 元素 样式通常存储在样式表中 把样式添加到 HTML 4.0 中,是为了解决内容与表现分别的问题 外部样式表可以极大提高工作效率 外部样式表通常存储在 CSS 文件中 …...
SpringBoot+Vue幼儿园管理系统(前后端分离)
技术栈 JavaSpringBootMavenMyBatisMySQLVueElement-UI 系统角色 教师用户管理员 功能截图...
MFC实现子控件focus焦点上下移动父控件ListView和Gridview也跟着向上下移动
项目中要实现mfc功能,然后子控件焦点下移,LIstView和Gridview父控件不会下移,所以就有这个文章。废话不多说直接上代码。 MFCGridView.java import android.content.Context; import android.util.AttributeSet; import android.view.View;…...
几何关系运算处理
1. 判断点在线的左边还是右边 要判断一个坐标点在直线的左侧还是右侧,可以使用向量叉积。具体来说,对于给定的直线和点,我们可以计算点到直线的向量与直线的方向向量的叉积。叉积的符号可以用于判断点的位置关系: 如果叉积为正&…...
http和https分别是什么?区别是什么?
HTTP和HTTPS是两种常见的网络协议,用于在Web上进行数据传输。以下是它们的简要解释和主要区别: HTTP(Hypertext Transfer Protocol) HTTP是一种应用层协议,用于在Web上传输数据。它是互联网上应用最为广泛的一种网络…...
第一周:计算机网络概述(上)
一、计算机网络基本概念 1、计算机网络通信技术计算机技术 计算机网络就是一种特殊的通信网络,其特殊之处就在于它的信源和信宿就是计算机。 2、什么是计算机网络 在计算机网络中,我们把这些计算机统称为“主机”(上图中所有相连的电脑和服…...
谷歌AI搜索变革,中国引擎能跟上步伐?
全文预计1200字左右,预计阅读需要6分钟。 一年前,谷歌宣布人工智能将引领搜索的未来,如今,这一愿景正逐步实现。谷歌已在美国推出并即将全球推广"AI Overviews",为用户提供由AI生成的搜索结果概览࿰…...
【机器学习300问】110、什么是Lasso回归模型?
LASSO回归的全称是Least Absolute Shrinkage and Selection Operator,中文叫“最小绝对收缩和选择算子”,用一个比喻来初步感受一下它的作用: 想象你在整理一个杂乱无章的房间,里面堆满了各种物品(代表众多的预测变量&…...
Qt实现麦克风音频输入保存wav文件
一.本文目的 实现在Qt中接收麦克风数据并保存为WAV文件,使用QAudioInput来录音,并使用QFile来保存数据到WAV文件。 开发环境:QT5.12 本文用极简代码实现,核心代码只需不到100行。 完整工程代码文末链接可以直接下载。 二.代码实…...
docker_如何推送镜像到仓库(hub.docker.com)
在执行 docker push 时收到 denied: requested access to the resource is denied 错误通常意味着你没有权限将镜像推送到目标存储库。这可能有几个原因,包括: 未登录 Docker Hub:你还没有登录到 Docker Hub,或者你登录的账户没有权限推送到目标存储库。存储库不存在:目标…...
【Python】认识 Python
一、计算机基础概念 1、什么是计算机 很多老一辈的人,管下面这个叫做计算机。然而,它只是 “计算器”,和计算机是有很大区别的。 现在我们所说的计算机,不光能进行算术运算,还能进行逻辑判断、数据存储、网络通信等…...
别再到处找破解版了!手把手教你用Python+PyModbus模拟Modbus Slave设备(附完整代码)
用Python构建Modbus从站模拟器的全流程指南 在工业自动化领域,Modbus协议因其简单可靠而成为设备通信的事实标准。许多工程师习惯使用商业软件如Modbus Slave进行测试,但这类工具往往价格昂贵,导致部分用户转向非授权版本。其实,借…...
Pi 是一个极简终端编码工具 Pi is a minimal terminal coding harness
Pi is a minimal terminal coding harness. It is designed to stay small at the core while being extended through TypeScript extensions, skills, prompt templates, themes, and pi packages. Pi 是一个极简终端编码工具。其核心设计保持精简,同时支持通过 …...
告别卡顿!CocosCreator 3.4.0 资源预加载与进度条实战(附完整TypeScript代码)
CocosCreator 3.4.0 资源预加载与进度条实战指南 1. 为什么需要资源预加载? 在游戏开发中,资源加载是影响用户体验的关键因素之一。想象一下,玩家打开游戏时遇到长时间的白屏或卡顿,这种糟糕的第一印象很可能导致用户流失。CocosC…...
AI驱动信息摘要系统:从架构设计到工程实践的完整指南
1. 项目概述:一个AI驱动的每日信息摘要工具最近在GitHub上看到一个挺有意思的项目,叫“Convenient-huston624/ai-daily-digest”。光看名字,你大概能猜到这是个用AI来生成每日摘要的工具。作为一个在信息处理领域摸爬滚打多年的从业者&#x…...
OpenCore Legacy Patcher:为旧Mac续命的系统重生工具
OpenCore Legacy Patcher:为旧Mac续命的系统重生工具 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 当你打开那台陪伴多年的MacBook,…...
3步掌握:Nucleus Co-Op本地分屏游戏终极方案
3步掌握:Nucleus Co-Op本地分屏游戏终极方案 【免费下载链接】nucleuscoop Starts multiple instances of a game for split-screen multiplayer gaming! 项目地址: https://gitcode.com/gh_mirrors/nu/nucleuscoop 还在为喜欢的游戏不支持本地多人联机而烦恼…...
告别手动切换!在嵌入式Linux上实现RS485自动收发控制的三种方法(附i.MX6ULL代码)
嵌入式Linux RS485自动收发控制实战:三种高效方案与i.MX6ULL实现详解 在工业自动化、智能仪表和远程监控系统中,RS485总线因其出色的抗干扰能力和长距离传输特性,成为设备间通信的首选方案。然而传统RS485开发中最大的痛点莫过于需要手动控制…...
自动化系统清理工具Rguvh/byebyeclaw:从声明式配置到安全实践
1. 项目概述与核心价值最近在和一些做安全研究的朋友交流时,经常听到一个词:“Rguvh/byebyeclaw”。乍一听,这像是一个晦涩的内部代号,或者某个开源工具的神秘仓库。实际上,它指向的是一个在特定技术圈层里,…...
革命性MEV框架Artemis:用Rust构建高性能套利机器人的终极指南
革命性MEV框架Artemis:用Rust构建高性能套利机器人的终极指南 【免费下载链接】artemis A simple, modular, and fast framework for writing MEV bots in Rust. 项目地址: https://gitcode.com/gh_mirrors/ar/artemis Artemis是一个简单、模块化且快速的框架…...
HiF-VLA模型:多模态智能系统的双向时序对齐与推理
1. 项目背景与核心价值HiF-VLA模型代表着当前多模态智能系统研究的前沿方向。这个项目的核心突破点在于实现了视觉、语言和动作三种模态信息的双向时序对齐与推理。在实际机器人操作场景中,传统方法往往只能实现单向的"视觉→语言→动作"转换,…...
