当前位置： 首页 > news >正文

后端进阶-分库分表

news 2026/2/7 1:08:37

文章目录

      • 为什么需要分库
      • 为什么需要分表
    • 什么时候需要分库分表
      • 只需要分库
      • 只需要分表
    • 分库分表解决方案
      • 垂直分库
      • 水平分库
      • 垂直分表
      • 水平分表
    • 分库分表常用算法
      • 范围算法
      • hash分片
      • 查表分片
    • 分库分表模式
      • 客户端模式
      • 代理模式

今天跟着训练营学习了分库分表，整理了学习笔记。
在这里插入图片描述

为什么需要分库

单机的数据库连接数是有限的，在高并发的场景下同时操作一个数据库容易将连接耗尽，使后序的数据库访问无法正常进行。
同时也是容量问题，单机容量毕竟使有限的，当存储量不断增加，数据库的容量无法全部承载。用多个库在存储，增加数据库的实列。

为什么需要分表

当一张表的数据库很大的时候，查询会变得很慢，虽然底层基于b+树速度还是很快的。分表可以减少每个表中的数据量，提高查询的效率。
提升写入性能，分表分散写入压力。
减轻锁的竞争，大表容易出现锁的竞争，导致性能下降。

什么时候需要分库分表

只需要分库

连接数不够需要进行分库。

微服务场景业务拆分，进行微服务拆分的时候根据业务边界，将各个业务的数据从数据库中拆分出来。
比如电商微服务系统，将订单、物流、商品、会员等分别存储到独立数据库中。

只需要分表

数据量太大了，单表超过了500万行或者单表数据量超过了2GB，就推荐分表了。单表数据库多，并发量不高，查询和存储性能遇到了瓶颈。

分库分表解决方案

垂直分库

专库专用，根据不同的业务将数据放在不同的数据库中去。

水平分库

将单表数据库切分到多个数据库服务器上去，每个库结构一样。来实现水平拓展。

垂直分表

垂直分表使对业务中字段较多的大表进行的一种优化策略，比如用户表分为两个，一个是用户的基本信息，还有一个是用户的详细信息。拆分后的小标只包含部分字段，两个表之间通过主键和外键关联。在这里插入图片描述

水平分表

将一个表数据分到多个表中去。

分库分表常用算法

范围算法

根据时间、地点等信息，进行分库分表。
在这里插入图片描述

hash分片

在这里插入图片描述
在这里插入图片描述

查表分片

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

分库分表模式

客户端模式

小公司使用
在这里插入图片描述在这里插入图片描述

代理模式

在这里插入图片描述
在这里插入图片描述

相关文章：

后端进阶-分库分表

文章目录 为什么需要分库为什么需要分表 什么时候需要分库分表只需要分库只需要分表 分库分表解决方案垂直分库水平分库垂直分表水平分表 分库分表常用算法范围算法hash分片查表分片 分库分表模式客户端模式代理模式 今天跟着训练营学习了分库分表，整理了学习笔记。…...

编程日记 2024/6/8 7:29:19

Apple开发者应用商店(AppStore)描述文件及ADHOC描述文件生成

创建AD HOC描述文件 1.选中Profiles,然后点击加号创建 2.创建已注册设备可安装描述文件 3.选择要注册的id 4.选择证书 5.选择设备 6.输入文件名,点击生成 7.生成成功,点击下载...

编程日记 2024/6/8 7:28:18

【Git】修改设置 git 的 username、email

设置全局的本地用户名称和用户邮箱 参考：使用git config --global设置用户名和邮件 git config --global user.name "xxx" git config --global user.email "xxx.com"git config --list git config命令的–global参数，用了这个参数…...

编程日记 2024/6/8 7:27:17

python脚本打包为exe并在服务器上设置定时执行

python脚本打包为exe并在服务器上设置定时执行 1. Python脚本打包2. 将打包好的Python脚本放入服务器3. 在服务器上设置其定时执行 1. Python脚本打包 首先，下载pyinstaller 键盘winR打开终端，输入命令：pip install pyinstaller，…...

编程日记 2024/6/8 7:26:16

STM32-呼吸灯仿真

目录 前言: 一.呼吸灯 二.跑马灯 三. 总结 前言: 本篇的主要内容是关于STM32-呼吸灯的仿真,包括呼吸灯,跑马灯的实现与完整代码,欢迎大家的点赞,评论和关注. 接上http://t.csdnimg.cn/mvWR4 既然已经点亮了一盏灯,接下来就可以做更多实验了, 一.呼吸灯 在上一个的基础上…...

编程日记 2024/6/8 7:24:14

【AI基础】第三步：纯天然保姆喂饭级-安装并运行chatglm2-6b

chatglm2构建时使用了RUST，所以在安装chatglm2之前，先安装RUST。 此系列文章列表： 【AI基础】第一步：安装python开发环境-windows篇_下载安装ai环境python-CSDN博客 【AI基础】第一步：安装python开发环境-conda篇_mini…...

编程日记 2024/6/8 7:21:11

Spring Security系列之Handler

概述 与Spring、Spring MVC、Spring Boot一样，Spring Security里也有很多Handler接口、可以分为两大类，一类是普通的XxxHandler（见名知意），另一类是对应的ServerXxxHandler（RequestRejectedHandler除外&am…...

编程日记 2024/6/8 7:20:10

Thinkphp使用Elasticsearch查询

在Thinkphp中调用ES，如果自己手写json格式的query肯定是很麻烦的。我这里使用的是ONGR ElasticsearchDSL 构建 ES 查询。ongr ElasticsearchDSL 的开源项目地址：GitHub - ongr-io/ElasticsearchDSL: Query DSL library for Elasticsearch。ONGR Elastics…...

编程日记 2024/6/8 7:19:09

开源日志分析平台ELK实战应用

1.开源日志分析平台ELK概述及搭建过程 ELK 是一个开源的日志管理平台，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。这个平台广泛用于实时日志处理和分析。下面简单介绍一下每个组件的作用以及如何搭建一个基本的 ELK 栈。 ELK 组件 Elasticsearch：是一个搜索和分析…...

编程日记 2024/6/8 7:17:07

css基本操作及使用

CSS 的基本简介 什么是 CSS? CSS 指层叠样式表 (Cascading Style Sheets) 样式定义如何显示 HTML 元素 样式通常存储在样式表中 把样式添加到 HTML 4.0 中，是为了解决内容与表现分别的问题 外部样式表可以极大提高工作效率 外部样式表通常存储在 CSS 文件中 …...

编程日记 2024/6/8 7:16:06

SpringBoot+Vue幼儿园管理系统（前后端分离）

技术栈 JavaSpringBootMavenMyBatisMySQLVueElement-UI 系统角色 教师用户管理员 功能截图...

编程日记 2024/6/8 7:15:05

MFC实现子控件focus焦点上下移动父控件ListView和Gridview也跟着向上下移动

项目中要实现mfc功能，然后子控件焦点下移，LIstView和Gridview父控件不会下移，所以就有这个文章。废话不多说直接上代码。 MFCGridView.java import android.content.Context; import android.util.AttributeSet; import android.view.View;…...

编程日记 2024/6/8 7:14:03

几何关系运算处理

1. 判断点在线的左边还是右边 要判断一个坐标点在直线的左侧还是右侧，可以使用向量叉积。具体来说，对于给定的直线和点，我们可以计算点到直线的向量与直线的方向向量的叉积。叉积的符号可以用于判断点的位置关系： 如果叉积为正&…...

编程日记 2024/6/8 7:13:02

http和https分别是什么？区别是什么？

HTTP和HTTPS是两种常见的网络协议，用于在Web上进行数据传输。以下是它们的简要解释和主要区别： HTTP（Hypertext Transfer Protocol） HTTP是一种应用层协议，用于在Web上传输数据。它是互联网上应用最为广泛的一种网络…...

编程日记 2024/6/8 7:12:01

第一周：计算机网络概述（上）

一、计算机网络基本概念 1、计算机网络通信技术计算机技术 计算机网络就是一种特殊的通信网络，其特殊之处就在于它的信源和信宿就是计算机。 2、什么是计算机网络 在计算机网络中，我们把这些计算机统称为“主机”（上图中所有相连的电脑和服…...

编程日记 2024/6/8 7:11:00

谷歌AI搜索变革，中国引擎能跟上步伐？

全文预计1200字左右，预计阅读需要6分钟。 一年前，谷歌宣布人工智能将引领搜索的未来，如今，这一愿景正逐步实现。谷歌已在美国推出并即将全球推广"AI Overviews"，为用户提供由AI生成的搜索结果概览&#xff0…...

编程日记 2024/6/8 7:10:00

【机器学习300问】110、什么是Lasso回归模型？

LASSO回归的全称是Least Absolute Shrinkage and Selection Operator，中文叫“最小绝对收缩和选择算子”，用一个比喻来初步感受一下它的作用： 想象你在整理一个杂乱无章的房间，里面堆满了各种物品（代表众多的预测变量&…...

编程日记 2024/6/8 7:07:58

Qt实现麦克风音频输入保存wav文件

一.本文目的 实现在Qt中接收麦克风数据并保存为WAV文件，使用QAudioInput来录音，并使用QFile来保存数据到WAV文件。 开发环境：QT5.12 本文用极简代码实现，核心代码只需不到100行。 完整工程代码文末链接可以直接下载。 二.代码实…...

编程日记 2024/6/8 7:05:56

docker_如何推送镜像到仓库(hub.docker.com)

在执行 docker push 时收到 denied: requested access to the resource is denied 错误通常意味着你没有权限将镜像推送到目标存储库。这可能有几个原因，包括： 未登录 Docker Hub：你还没有登录到 Docker Hub，或者你登录的账户没有权限推送到目标存储库。存储库不存在：目标…...

编程日记 2024/6/8 7:04:55

【Python】认识 Python

一、计算机基础概念 1、什么是计算机 很多老一辈的人，管下面这个叫做计算机。然而，它只是 “计算器”，和计算机是有很大区别的。 现在我们所说的计算机，不光能进行算术运算，还能进行逻辑判断、数据存储、网络通信等…...

编程日记 2024/6/8 7:02:54

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...

编程新知 2025/11/16 8:24:16

【Linux】C语言执行shell指令

在C语言中执行Shell指令 在C语言中&#xff0c;有几种方法可以执行Shell指令&#xff1a; 1. 使用system()函数 这是最简单的方法&#xff0c;包含在stdlib.h头文件中&#xff1a; #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...

编程新知 2025/11/20 18:42:48

测试markdown--肇兴

day1&#xff1a; 1、去程&#xff1a;7:04 --11:32高铁 高铁右转上售票大厅2楼&#xff0c;穿过候车厅下一楼&#xff0c;上大巴车 &#xffe5;10/人 **2、到达&#xff1a;**12点多到达寨子&#xff0c;买门票&#xff0c;美团/抖音&#xff1a;&#xffe5;78人 3、中饭&a…...

编程新知 2025/12/14 11:45:02

Cinnamon修改面板小工具图标

Cinnamon开始菜单-CSDN博客 设置模块都是做好的&#xff0c;比GNOME简单得多&#xff01; 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...

编程新知 2026/1/31 14:56:22

Java入门学习详细版（一）

大家好&#xff0c;Java 学习是一个系统学习的过程&#xff0c;核心原则就是“理论 实践 坚持”&#xff0c;并且需循序渐进&#xff0c;不可过于着急&#xff0c;本篇文章推出的这份详细入门学习资料将带大家从零基础开始&#xff0c;逐步掌握 Java 的核心概念和编程技能。 …...

编程新知 2025/12/14 14:47:02

vue3+vite项目中使用.env文件环境变量方法

vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量&#xff0c;这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...

编程新知 2026/1/26 19:12:01

蓝桥杯 冶炼金属

原题目链接 &#x1f527; 冶炼金属转换率推测题解 &#x1f4dc; 原题描述 小蓝有一个神奇的炉子用于将普通金属 O O O 冶炼成为一种特殊金属 X X X。这个炉子有一个属性叫转换率 V V V&#xff0c;是一个正整数&#xff0c;表示每 V V V 个普通金属 O O O 可以冶炼出 …...

编程新知 2026/2/4 10:54:26

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

编程新知 2026/1/29 5:26:37

【Linux】自动化构建-Make/Makefile

前言 上文我们讲到了Linux中的编译器gcc/g 【Linux】编译器gcc/g及其库的详细介绍-CSDN博客 本来我们将一个对于编译来说很重要的工具&#xff1a;make/makfile 1.背景 在一个工程中源文件不计其数&#xff0c;其按类型、功能、模块分别放在若干个目录中&#xff0c;mak…...

编程新知 2026/2/4 16:04:21

自然语言处理——文本分类

文本分类 传统机器学习方法文本表示向量空间模型 特征选择文档频率互信息信息增益&#xff08;IG&#xff09; 分类器设计贝叶斯理论&#xff1a;线性判别函数 文本分类性能评估P-R曲线ROC曲线 将文本文档或句子分类为预定义的类或类别&#xff0c; 有单标签多类别文本分类和多…...

编程新知 2026/2/6 16:46:15