当前位置：首页 > news >正文

后端进阶-分库分表

news 文章来源：https://blog.csdn.net/ngczx/article/details/139535994 2024/11/21 1:39:11

文章目录

- - 为什么需要分库
  - 为什么需要分表
- 什么时候需要分库分表
- - 只需要分库
  - 只需要分表
- 分库分表解决方案
- - 垂直分库
  - 水平分库
  - 垂直分表
  - 水平分表
- 分库分表常用算法
- - 范围算法
  - hash分片
  - 查表分片
- 分库分表模式
- - 客户端模式
  - 代理模式

今天跟着训练营学习了分库分表，整理了学习笔记。
在这里插入图片描述

在这里插入图片描述

为什么需要分库

单机的数据库连接数是有限的，在高并发的场景下同时操作一个数据库容易将连接耗尽，使后序的数据库访问无法正常进行。
同时也是容量问题，单机容量毕竟使有限的，当存储量不断增加，数据库的容量无法全部承载。用多个库在存储，增加数据库的实列。

为什么需要分表

当一张表的数据库很大的时候，查询会变得很慢，虽然底层基于b+树速度还是很快的。分表可以减少每个表中的数据量，提高查询的效率。
提升写入性能，分表分散写入压力。
减轻锁的竞争，大表容易出现锁的竞争，导致性能下降。

什么时候需要分库分表

只需要分库

连接数不够需要进行分库。

微服务场景业务拆分，进行微服务拆分的时候根据业务边界，将各个业务的数据从数据库中拆分出来。
比如电商微服务系统，将订单、物流、商品、会员等分别存储到独立数据库中。

只需要分表

数据量太大了，单表超过了500万行或者单表数据量超过了2GB，就推荐分表了。单表数据库多，并发量不高，查询和存储性能遇到了瓶颈。

分库分表解决方案

垂直分库

专库专用，根据不同的业务将数据放在不同的数据库中去。

水平分库

将单表数据库切分到多个数据库服务器上去，每个库结构一样。来实现水平拓展。

垂直分表

垂直分表使对业务中字段较多的大表进行的一种优化策略，比如用户表分为两个，一个是用户的基本信息，还有一个是用户的详细信息。拆分后的小标只包含部分字段，两个表之间通过主键和外键关联。在这里插入图片描述

水平分表

将一个表数据分到多个表中去。

分库分表常用算法

范围算法

根据时间、地点等信息，进行分库分表。
在这里插入图片描述

hash分片

在这里插入图片描述

查表分片

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

分库分表模式

客户端模式

小公司使用
在这里插入图片描述

代理模式

在这里插入图片描述

相关文章：

后端进阶-分库分表

文章目录为什么需要分库为什么需要分表什么时候需要分库分表只需要分库只需要分表分库分表解决方案垂直分库水平分库垂直分表水平分表分库分表常用算法范围算法hash分片查表分片分库分表模式客户端模式代理模式今天跟着训练营学习了分库分表，整理了学习笔记。…...

编程日记 2024/6/8 7:29:19

Apple开发者应用商店(AppStore)描述文件及ADHOC描述文件生成

创建AD HOC描述文件 1.选中Profiles,然后点击加号创建 2.创建已注册设备可安装描述文件 3.选择要注册的id 4.选择证书 5.选择设备 6.输入文件名,点击生成 7.生成成功,点击下载...

编程日记 2024/6/8 7:28:18

【Git】修改设置 git 的 username、email

设置全局的本地用户名称和用户邮箱参考：使用git config --global设置用户名和邮件 git config --global user.name "xxx" git config --global user.email "xxx.com"git config --list git config命令的–global参数，用了这个参数…...

编程日记 2024/6/8 7:27:17

python脚本打包为exe并在服务器上设置定时执行

python脚本打包为exe并在服务器上设置定时执行 1. Python脚本打包2. 将打包好的Python脚本放入服务器3. 在服务器上设置其定时执行 1. Python脚本打包首先，下载pyinstaller 键盘winR打开终端，输入命令：pip install pyinstaller，…...

编程日记 2024/6/8 7:26:16

STM32-呼吸灯仿真

目录前言: 一.呼吸灯二.跑马灯三. 总结前言: 本篇的主要内容是关于STM32-呼吸灯的仿真,包括呼吸灯,跑马灯的实现与完整代码,欢迎大家的点赞,评论和关注. 接上http://t.csdnimg.cn/mvWR4 既然已经点亮了一盏灯,接下来就可以做更多实验了, 一.呼吸灯在上一个的基础上…...

编程日记 2024/6/8 7:24:14

【AI基础】第三步：纯天然保姆喂饭级-安装并运行chatglm2-6b

chatglm2构建时使用了RUST，所以在安装chatglm2之前，先安装RUST。此系列文章列表： 【AI基础】第一步：安装python开发环境-windows篇_下载安装ai环境python-CSDN博客【AI基础】第一步：安装python开发环境-conda篇_mini…...

编程日记 2024/6/8 7:21:11

Spring Security系列之Handler

概述与Spring、Spring MVC、Spring Boot一样，Spring Security里也有很多Handler接口、可以分为两大类，一类是普通的XxxHandler（见名知意），另一类是对应的ServerXxxHandler（RequestRejectedHandler除外&am…...

编程日记 2024/6/8 7:20:10

Thinkphp使用Elasticsearch查询

在Thinkphp中调用ES，如果自己手写json格式的query肯定是很麻烦的。我这里使用的是ONGR ElasticsearchDSL 构建 ES 查询。ongr ElasticsearchDSL 的开源项目地址：GitHub - ongr-io/ElasticsearchDSL: Query DSL library for Elasticsearch。ONGR Elastics…...

编程日记 2024/6/8 7:19:09

开源日志分析平台ELK实战应用

1.开源日志分析平台ELK概述及搭建过程 ELK 是一个开源的日志管理平台，由 Elasticsearch、Logstash 和 Kibana 三个组件组成。这个平台广泛用于实时日志处理和分析。下面简单介绍一下每个组件的作用以及如何搭建一个基本的 ELK 栈。 ELK 组件 Elasticsearch：是一个搜索和分析…...

编程日记 2024/6/8 7:17:07

css基本操作及使用

CSS 的基本简介什么是 CSS? CSS 指层叠样式表 (Cascading Style Sheets) 样式定义如何显示 HTML 元素样式通常存储在样式表中把样式添加到 HTML 4.0 中，是为了解决内容与表现分别的问题外部样式表可以极大提高工作效率外部样式表通常存储在 CSS 文件中 …...

编程日记 2024/6/8 7:16:06

SpringBoot+Vue幼儿园管理系统（前后端分离）

技术栈 JavaSpringBootMavenMyBatisMySQLVueElement-UI 系统角色教师用户管理员功能截图...

编程日记 2024/6/8 7:15:05

MFC实现子控件focus焦点上下移动父控件ListView和Gridview也跟着向上下移动

项目中要实现mfc功能，然后子控件焦点下移，LIstView和Gridview父控件不会下移，所以就有这个文章。废话不多说直接上代码。 MFCGridView.java import android.content.Context; import android.util.AttributeSet; import android.view.View;…...

编程日记 2024/6/8 7:14:03

几何关系运算处理

1. 判断点在线的左边还是右边要判断一个坐标点在直线的左侧还是右侧，可以使用向量叉积。具体来说，对于给定的直线和点，我们可以计算点到直线的向量与直线的方向向量的叉积。叉积的符号可以用于判断点的位置关系： 如果叉积为正&…...

编程日记 2024/6/8 7:13:02

http和https分别是什么？区别是什么？

HTTP和HTTPS是两种常见的网络协议，用于在Web上进行数据传输。以下是它们的简要解释和主要区别： HTTP（Hypertext Transfer Protocol） HTTP是一种应用层协议，用于在Web上传输数据。它是互联网上应用最为广泛的一种网络…...

编程日记 2024/6/8 7:12:01

第一周：计算机网络概述（上）

一、计算机网络基本概念 1、计算机网络通信技术计算机技术计算机网络就是一种特殊的通信网络，其特殊之处就在于它的信源和信宿就是计算机。 2、什么是计算机网络在计算机网络中，我们把这些计算机统称为“主机”（上图中所有相连的电脑和服…...

编程日记 2024/6/8 7:11:00

谷歌AI搜索变革，中国引擎能跟上步伐？

全文预计1200字左右，预计阅读需要6分钟。一年前，谷歌宣布人工智能将引领搜索的未来，如今，这一愿景正逐步实现。谷歌已在美国推出并即将全球推广"AI Overviews"，为用户提供由AI生成的搜索结果概览&#xff0…...

编程日记 2024/6/8 7:10:00

【机器学习300问】110、什么是Lasso回归模型？

LASSO回归的全称是Least Absolute Shrinkage and Selection Operator，中文叫“最小绝对收缩和选择算子”，用一个比喻来初步感受一下它的作用： 想象你在整理一个杂乱无章的房间，里面堆满了各种物品（代表众多的预测变量&…...

编程日记 2024/6/8 7:07:58

Qt实现麦克风音频输入保存wav文件

一.本文目的实现在Qt中接收麦克风数据并保存为WAV文件，使用QAudioInput来录音，并使用QFile来保存数据到WAV文件。开发环境：QT5.12 本文用极简代码实现，核心代码只需不到100行。完整工程代码文末链接可以直接下载。二.代码实…...

编程日记 2024/6/8 7:05:56

docker_如何推送镜像到仓库(hub.docker.com)

在执行 docker push 时收到 denied: requested access to the resource is denied 错误通常意味着你没有权限将镜像推送到目标存储库。这可能有几个原因，包括：未登录 Docker Hub：你还没有登录到 Docker Hub，或者你登录的账户没有权限推送到目标存储库。存储库不存在：目标…...

编程日记 2024/6/8 7:04:55

【Python】认识 Python

一、计算机基础概念 1、什么是计算机很多老一辈的人，管下面这个叫做计算机。然而，它只是 “计算器”，和计算机是有很大区别的。现在我们所说的计算机，不光能进行算术运算，还能进行逻辑判断、数据存储、网络通信等…...

编程日记 2024/6/8 7:02:54

Vue根据后端返回的tabList动态渲染组件信息

最近做了一个功能，后端根据配置信息，动态返回一个tabList，其中结构是List<String,Object> tabList; map里面的数据是 label、value 页面需要根据tablist动态渲染组件（不同的tab都使用了组件进行了封装） 实现效果…...

编程日记 2024/6/8 7:01:53

二轴机器人大米装箱机：技术创新引领智能包装新潮流

在科技日新月异的今天，自动化和智能化已成为各行各业追求高效、精准生产的关键。作为粮食加工行业的重要一环，大米装箱机的技术创新与应用价值日益凸显。其中，二轴机器人大米装箱机以其高效、稳定、智能的特点，成为市场的新宠。星…...

编程日记 2024/6/8 6:59:51

rtl8723DU移植 android4.4 4418 （第二部分蓝牙部分）

使用的代码： HMI （8723bu）源码 567_RTL8723DU_WiFi_linux_v5.6.5.3_35502_COEX20181130-2e2e.20191025.zip 由于之前写的所有笔记没有保存，这里只能是部分。 0、前置知识 1 、kernel 的移植 2、hardwire的移植将驱动中的 h…...

编程日记 2024/6/8 6:57:49

【Vue】组件的存放目录问题

注意： .vue文件本质无区别组件分类 .vue文件分为2类，都是 .vue文件（本质无区别） 页面组件 （配置路由规则时使用的组件）复用组件（多个组件中都使用到的组件） 存放目录分类开来的…...

编程日记 2024/6/8 6:56:49

开发PlugLink插件：自动生成并发布博客文章

开发PlugLink插件：自动生成并发布博客文章引言博客已经成为个人和企业分享信息、推广产品的重要工具。然而，手动运营博客不仅耗时，而且容易出错。本文将介绍如何利用PlugLink开发一个全自动博客运营程序，通过API链接大模型&am…...

编程日记 2024/6/8 6:54:47

Ant Design Pro

一：Ant Design pro是什么： Ant Design Pro 是基于 Ant Design 和 umi 的封装的一整套企业级中后台前端/设计解决方案，致力于在设计规范和基础组件的基础上，继续向上构建，提炼出典型模板/业务组件/配套设计资源&#x…...

编程日记 2024/6/8 6:50:44

加密软件好用的是哪个？为什么这么多人说迅软DSE加密软件好用？

加密软件顾名思义就是用来对机密文件进行加密保护的，防止未经授权的人查看和篡改，保护公司的重要信息，预防泄露的事件发生，由此可见运用加密软件是有用的。那么，问题又来了哪款加密软件好呢？请看一下介绍。…...

编程日记 2024/6/8 6:47:41

大模型日报2024-06-07

大模型日报 2024-06-07 大模型资讯大规模单细胞转录组学基础模型研究摘要: 大型预训练模型已成为基础模型，在自然语言处理及相关领域取得突破。本文介绍了在单细胞转录组学领域应用大规模基础模型的研究进展。 MMLU-Pro：评估语言理解模型的新基准摘要…...

编程日记 2024/6/8 6:44:36

Day49 动态规划part08

LC139单词拆分(未掌握) 未掌握分析：将字符串s中的各个字符看成是背包，思考成了多重背包问题单词就是物品，字符串s就是背包，单词能否组成字符串s，就是问物品能不能把背包装满。拆分时可以重复使用字典中的单词&#xf…...

编程日记 2024/6/8 6:42:34

React -- memo允许你的组件在 props 没有改变的情况下跳过重新渲染。

memo(Component, arePropsEqual?) 使用 memo 将组件包装起来，以获得该组件的一个记忆化版本。通常情况下，只要该组件的 props 没有改变，这个记忆化版本就不会在其父组件重新渲染时重新渲染。但 React 仍可能会重新渲染它：记忆化…...

编程日记 2024/6/8 6:40:33

wordpress 繁体/百度广告电话号码是多少

小编注：相比起网页射击狮，操纵代码的前端攻城狮凭着双手在键盘巴拉巴拉敲出的字符，就能赋予二次元的静态页面生命，各种lovely 的~~fabulous的~~elegant的交互效果，那叫一个锦上添花哈~~不过，要修炼成一个百…...

编程日记 2024/11/20 23:37:49

做钻石资讯网站/搜索引擎营销实训报告

本文实例讲述了android通过Location API显示地址信息的实现方法。分享给大家供大家参考。具体如下：android的Locatin API，可以通过Geocoder类，显示具体经纬度的地址信息。如：通过Geocoder的方法getFromLocation()可以得到Address对…...

编程日记 2024/11/20 20:38:27

大连市住房和建设局网站/网络舆情分析报告

2> 若在存储过程中建的临时表为on commit delete rows。且存储过程中无commit/rollback命令，则在当前会话执行存储过程后，在该存储过程中发生的数据仍然可以select到，因为没有发出commit/rollback命令。因此无论是以何种形式建立的临时表&…...

编程日记 2024/11/20 19:04:14

工程建设期刊网站/模板建站代理

在root用户下，使用命令 #userdel -r meng ,提示meng用户正在登录。在虚拟终端使用exit命令后，在终端中输入上述命令，依然提示meng用户正在登录。解决方法; 创建用户时，使用 1.添加一个叫a的用户，同时创建它的主文件…...

编程日记 2024/11/20 15:48:51

上海网页设计公司怎么样/网络建站优化科技

1.刘未鹏 | Mind Hacks 文章质量很高，涉及算法、数学和计算机，很值得一看转载于:https://www.cnblogs.com/cpointer/p/4644833.html...

编程日记 2024/11/20 15:47:46

织梦cms手机网站源码/怎么交换友情链接

在ThoughtWorks的日子（第-1天） Posted on 2008-12-07 15:17 勇敢的鸵鸟阅读(6218) 评论(22) 编辑收藏明天就要去报到了。今天仍然很忙，校对那本挨千刀（Google拼音居然没有这个词，山东方言，自己领会吧&a…...

编程日记 2024/11/20 15:25:25