ShardingSphere-JDBC
1. 什么是分库分表?
分库分表是一种数据库扩展技术,通过将数据拆分到多个数据库(分库)或多个表(分表)中来解决单一数据库或表带来的性能瓶颈。分库分表可以有效提升系统的可扩展性、性能和高并发处理能力,避免单一数据库或表的负载过重。
1.1 什么是分库?
分库指的是将数据分散到多个数据库实例中,以减轻单一数据库的负载。分库可以有两种方式:垂直分库和水平分库。
-
垂直分库:
- 垂直分库是指根据业务模块的不同,将不同模块的数据存储到不同的数据库中。例如,将用户数据存储在
user_db
中,将订单数据存储在order_db
中,将商品数据存储在product_db
中。每个数据库只负责一部分业务数据。 - 适用场景: 适用于系统中各个模块的数据量差异很大,或者需要对不同模块进行独立管理的场景。
- 垂直分库是指根据业务模块的不同,将不同模块的数据存储到不同的数据库中。例如,将用户数据存储在
-
水平分库:
- 水平分库是指将同一业务的不同数据根据某些规则(如时间、地域等)拆分到多个数据库中。例如,按照地区划分,将美国的用户数据存储在
db_us
中,将欧洲的用户数据存储在db_eu
中,或者按照时间将数据按年、月划分到不同的数据库中。 - 适用场景: 适用于数据量巨大,且需要根据某些标准进行数据拆分的场景。
- 水平分库是指将同一业务的不同数据根据某些规则(如时间、地域等)拆分到多个数据库中。例如,按照地区划分,将美国的用户数据存储在
1.2 什么是分表?
分表是指将同一张表中的数据拆分到多个表中,以避免单个表过大而导致性能问题。分表也有两种方式:垂直分表和水平分表。
-
垂直分表:
- 垂直分表是指将一张表中的不同列分拆到多个表中。通常是将表中的列根据功能或访问频率进行划分。例如,将一个包含用户详细信息的表,按照访问频率将常用字段(如用户名、密码等)拆分成
user_basic
表,而将不常用的字段(如用户画像、日志等)拆分成user_extra
表。 - 适用场景: 适用于表中包含大量列,但并非所有列都会频繁访问的场景。
- 垂直分表是指将一张表中的不同列分拆到多个表中。通常是将表中的列根据功能或访问频率进行划分。例如,将一个包含用户详细信息的表,按照访问频率将常用字段(如用户名、密码等)拆分成
-
水平分表:
- 水平分表是指将表中的数据按照某些规则(如ID范围、时间等)拆分到多个表中。例如,用户表的数据根据用户ID范围分拆成多个表,如
user_1
,user_2
,user_3
等,或者按时间拆分成user_2023
,user_2024
等。 - 适用场景: 适用于数据量过大,导致单表查询性能低下的情况。
- 水平分表是指将表中的数据按照某些规则(如ID范围、时间等)拆分到多个表中。例如,用户表的数据根据用户ID范围分拆成多个表,如
2. 分库分表场景
2.1 什么场景分表?
分表适用于以下场景:
- 单表数据量过大: 当某个表的记录数达到千万级,查询时可能会非常缓慢,尤其是涉及全表扫描的操作,分表可以有效提高查询效率。
- 高并发读写: 单表无法承载高并发的查询和写入请求时,可以通过水平分表将压力分散到多个表上。
- 单表的数据结构复杂,且访问频繁的列较少: 在这种情况下,垂直分表可以将高频访问的列提取到单独的表中,提高性能。
2.2 什么场景分库?
分库适用于以下场景:
- 数据库连接数不足: 单个数据库的连接数上限(如 MySQL 默认为 4000 个连接)无法满足高并发的请求时,可以通过分库将连接请求分散到多个数据库实例上。
- 数据库资源瓶颈: 当单个数据库的 CPU、内存、磁盘等资源无法满足需求时,分库可以将数据分布到多个数据库实例上,从而避免单点故障和资源瓶颈。
- 高并发读写: 当需要处理大量并发请求时,单个数据库无法支撑,需要通过分库将请求分散到多个数据库节点上。
2.3 什么场景分库分表?
分库分表适用于以下场景:
- 数据量巨大且访问量大: 当数据量达到数千万甚至更大,且访问量高时,单库单表无法满足存储、查询和写入需求。此时,分库分表能有效地提高查询性能和扩展系统能力。
- 高并发写入和查询: 在高并发的业务场景中,单库单表的性能瓶颈可能导致系统无法处理所有请求。分库分表能够将数据分布在不同的物理节点上,提高系统的并发处理能力。
- 资源瓶颈和高可用性需求: 当数据库实例的资源有限,且为了保证高可用性,必须将数据分散到多个数据库和表中,避免单点故障和资源耗尽。
3. 什么是 ShardingSphere?
ShardingSphere 是一个开源的分布式数据库中间件,提供数据库分片、分库分表、数据路由、分布式事务、数据脱敏等功能。它可以在不修改应用代码的情况下,为应用提供透明的分库分表支持,简化了分布式数据库的管理和维护。
ShardingSphere 的主要特点包括:
- 数据分片: 支持灵活的分库分表策略,可以根据用户需求定制分片规则。
- 分布式事务: 提供跨库跨表的分布式事务管理,确保数据一致性。
- 读写分离: 提供读写分离功能,将读请求路由到从库,提高系统性能。
- 弹性扩展: 支持动态添加新的数据源,帮助系统应对数据增长带来的压力。
4. 数据分片核心概念
4.1 表
- 逻辑表: 应用层面上的虚拟表,实际数据存储在多个物理表中。
- 真实表: 存储在数据库中的实际表,数据按分片规则分布在不同的物理表中。
- 绑定表: 多个表之间具有外键关系或逻辑关联,需要绑定在一起进行分片操作。
- 广播表: 一些小型表(如配置表、字典表等)将数据广播到所有数据库节点中,不进行分片。
- 单表: 不需要分片的表,数据存储在单个表中。
4.2 数据节点
- 均匀分布: 数据均匀地分布到多个数据节点中。
- 自定义分布: 开发者可以定义特定的分布规则,决定数据如何在不同的数据节点上分布。
4.3 分片
- 分片键: 决定数据如何分配到不同分片的字段,通常选择具有唯一性、分布均匀的数据字段作为分片键。
- 分片算法: 根据分片键和预定义的算法将数据分配到不同的分片上,常见的算法有哈希分片、范围分片等。
- 自动化分片算法: 系统自动根据配置的分片规则选择合适的分片算法。
- 自定义分片算法: 开发者可以定义自己的分片算法,以满足特定的业务需求。
- 分片策略: 定义了数据如何进行分片,包括按ID、时间、范围等不同策略进行数据划分。
- 强制分片路由: 强制要求某些操作使用特定的分片策略进行路由,通常用于特定业务需求。
4.4 行表达式
行表达式是指描述分片规则的表达式,帮助系统决定某一行数据应该放入哪个分片。
4.5 分布式主键
分布式主键确保在多个数据库和表中生成全局唯一的主键,避免出现主键冲突,通常通过全局唯一ID生成策略来实现。
相关文章:
ShardingSphere-JDBC
1. 什么是分库分表? 分库分表是一种数据库扩展技术,通过将数据拆分到多个数据库(分库)或多个表(分表)中来解决单一数据库或表带来的性能瓶颈。分库分表可以有效提升系统的可扩展性、性能和高并发处理能力&…...

企业如何选择远程控制软件来远程IT运维?
在当今企业的日常运作中,IT运维无疑是核心环节之一,它对于保持企业信息系统的稳定运行和数据安全至关重要。随着科技的快速进步,远程控制软件在IT运维中的应用变得越来越重要。今天,我们就来探讨一下远程控制软件如何助力企业IT运…...

Meta Llama 3.3 70B:性能卓越且成本效益的新选择
Meta Llama 3.3 70B:性能卓越且成本效益的新选择 引言 在人工智能领域,大型语言模型一直是研究和应用的热点。Meta公司最近发布了其最新的Llama系列模型——Llama 3.3 70B,这是一个具有70亿参数的生成式AI模型,它在性能上与4050…...

【银河麒麟高级服务器操作系统】修改容器中journal服务日志存储位置无效—分析及解决方案
了解更多银河麒麟操作系统全新产品,请点击访问 麒麟软件产品专区:https://product.kylinos.cn 开发者专区:https://developer.kylinos.cn 文档中心:https://documentkylinos.cn 服务器环境以及配置 【机型】 整机类型/架构&am…...

go语言zero框架对接阿里云消息队列MQ的rabbit的配置与调用
在 Go 语言中对接阿里云消息队列(MQ)的 RabbitMQ 配置与调用,首先需要安装和配置相关的 Go 库,并了解如何通过 RabbitMQ 与阿里云消息队列进行交互。 ### 步骤一:安装 RabbitMQ Go 客户端库 阿里云的消息队列&#x…...
《Vue进阶教程》第四课:reactive()函数详解
往期内容: 《Vue零基础入门教程》合集(完结) 《Vue进阶教程》第一课:什么是组合式API 《Vue进阶教程》第二课:为什么提出组合式API 《Vue进阶教程》第三课:Vue响应式原理 通过前面的学习, 我们了解到r…...

【开源】A065—基于SpringBoot的库存管理系统的设计与实现
🙊作者简介:在校研究生,拥有计算机专业的研究生开发团队,分享技术代码帮助学生学习,独立完成自己的网站项目。 代码可以查看项目链接获取⬇️,记得注明来意哦~🌹 赠送计算机毕业设计600个选题ex…...

memmove函数(带图详解)
c语言系列 文章目录 c语言系列一、memmove函数介绍1.1、函数基本功能1.2、函数参数2.3、函数返回值 二、memmove的使用2.1、拷贝字节不可大于目标空间2.2、同一空间拷贝 三、函数功能的模拟实现3.1、函数参数及其返回值的设定3.2、函数体实现 四、代码实现 一、memmove函数介绍…...

【Java数据结构】时间和空间复杂度
本章开始将进入数据结构的知识,时间复杂度主要衡量的是一个算法的运行速度,而空间复杂度主要衡量一个算法所需要的额外空间,。 时间复杂度 算法中执行的次数决定了时间复杂度。 在计算执行次数时,只需要计算大概的次数ÿ…...
八斗深度学习
八斗深度学习第二周笔记 一、深度学习步骤:1. 选定模型结构2. 模型参数随机初始化3. 构造模型损失函数4. 选择优化算法并设置超参数5. 数据准备与预处理6. 训练模型7. 模型评估8. 测试模型9. 应用模型 损失函数极小值、导向意义 超参数的影响迭代次数epoch批次量大小…...

安卓报错Switch Maven repository ‘maven‘....解决办法
例如:Switch Maven repository ‘maven(http://developer.huawei.com/repo/)’ to redirect to a secure protocol 在库链接上方添加配置代码:allowInsecureProtocol true...
Scala编程技巧:正则表达式与隐式转换
1. 引言 在Scala编程中,正则表达式和隐式转换是处理字符串匹配和类型转换的强大工具。本文将通过一个实用的示例——电话号码和身份证号码验证器,来展示如何使用这些工具。 2. 知识概括 2.1 正则表达式基础 正则表达式是用于字符串搜索和匹配的强大工…...

UnityShaderLab 实现黑白着色器效果
实现思路:取屏幕像素的RGB值,将三个通道的值相加,除以一个大于值使颜色值在0-1内,再乘上一个强度值调节黑白强度。 在URP中实现需要开启Opaque Texture ShaderGraph实现: ShaderLab实现: Shader "Bl…...

在Windows 10中使用SSH远程连接服务器(附花生壳操作方法)
SSH 在 linux 中是一种重要的系统组件,用户可以使用 SSH 来远程连接 linux 系统的计算机,或者传输文件。不过在 win10 以前,windows 并不原生支持 SSH,需要借助第三方工具来使用 SSH 功能。而实际上,微软在 2015 年就曾…...

在算网云平台云端在线部署stable diffusion (0基础小白超详细教程)
Stable Diffusion无疑是AIGC领域中的AI绘画利器,具有以下显著优势: 1、开源性质,支持本地部署 2、能够实现对图像生成过程的精确控制 虽然SD在使用上有很多的有点,但缺点也是不言而喻的,由于AI绘画的整个过程以及现…...
ubuntu存储空间不足快速解决
几个自己常用的释放空间命令,备忘 将文件夹下的文件按从大到小排列 ls -lhS /var/log/syslog 过大 sudo truncate -s 0 /var/log/syslog /var/log/Xorg.0.log.old过大 sudo truncate -s 0 /var/log/Xorg.0.log.old 清理系统日志文件: sudo journalctl --…...
Prescan simulink carsim联合仿真平台搭建问题总结
解决办法主要来自忠厚的老王:自动驾驶决策规划算法第二章第一节 决策规划仿真平台搭建_哔哩哔哩_bilibili 这部分直接复制的老王视频的: Q1:prescan安装了,但是找不到Demo_Carsim3D A1:这个文件夹是我自己建立的不是prescan自带的࿰…...

STM32(HAL_工程模板的搭建)
目录 一、准备文件 二、创建工程 三、创建分组 四、配置文件处理 五、编译错误处理 一、准备文件 准备HAL库文件: ST官网( 意法半导体-STMicroelectronics )搜索STM32Cube, 本文使用“STM32Cube_FW_F4_V1.24.1” 版本的HAL库, 使用的是F4的库文件。 创建文件:…...

Flask入门一(介绍、Flask安装、Flask运行方式及使用、虚拟环境、调试模式、配置文件、路由系统)
文章目录 一、Flask介绍二、Flask创建和运行 1.安装2.快速使用3.Flask小知识4.flask的运行方式 三、Werkzeug介绍四、Jinja2介绍五、Click CLI 介绍六、Flask安装 介绍watchdog使用python–dotenv使用(操作环境变量) 七、虚拟环境 介绍Mac/linux创建虚拟…...

CAD C# 批量替换当前图中块
本案例功能为选择当前文档中一个块(旧块),然后选择新图元(新块),运行插件后新块将替换图中所有的旧块。 效果如下: public static class Class1{//选取对象替换块定义[CommandMethod("TT&…...
mongodb源码分析session执行handleRequest命令find过程
mongo/transport/service_state_machine.cpp已经分析startSession创建ASIOSession过程,并且验证connection是否超过限制ASIOSession和connection是循环接受客户端命令,把数据流转换成Message,状态转变流程是:State::Created 》 St…...

学习STC51单片机31(芯片为STC89C52RCRC)OLED显示屏1
每日一言 生活的美好,总是藏在那些你咬牙坚持的日子里。 硬件:OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写,"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...
Redis的发布订阅模式与专业的 MQ(如 Kafka, RabbitMQ)相比,优缺点是什么?适用于哪些场景?
Redis 的发布订阅(Pub/Sub)模式与专业的 MQ(Message Queue)如 Kafka、RabbitMQ 进行比较,核心的权衡点在于:简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

MySQL 知识小结(一)
一、my.cnf配置详解 我们知道安装MySQL有两种方式来安装咱们的MySQL数据库,分别是二进制安装编译数据库或者使用三方yum来进行安装,第三方yum的安装相对于二进制压缩包的安装更快捷,但是文件存放起来数据比较冗余,用二进制能够更好管理咱们M…...
省略号和可变参数模板
本文主要介绍如何展开可变参数的参数包 1.C语言的va_list展开可变参数 #include <iostream> #include <cstdarg>void printNumbers(int count, ...) {// 声明va_list类型的变量va_list args;// 使用va_start将可变参数写入变量argsva_start(args, count);for (in…...
32单片机——基本定时器
STM32F103有众多的定时器,其中包括2个基本定时器(TIM6和TIM7)、4个通用定时器(TIM2~TIM5)、2个高级控制定时器(TIM1和TIM8),这些定时器彼此完全独立,不共享任何资源 1、定…...

Linux-进程间的通信
1、IPC: Inter Process Communication(进程间通信): 由于每个进程在操作系统中有独立的地址空间,它们不能像线程那样直接访问彼此的内存,所以必须通过某种方式进行通信。 常见的 IPC 方式包括&#…...
Java并发编程实战 Day 11:并发设计模式
【Java并发编程实战 Day 11】并发设计模式 开篇 这是"Java并发编程实战"系列的第11天,今天我们聚焦于并发设计模式。并发设计模式是解决多线程环境下常见问题的经典解决方案,它们不仅提供了优雅的设计思路,还能显著提升系统的性能…...

边缘计算网关提升水产养殖尾水处理的远程运维效率
一、项目背景 随着水产养殖行业的快速发展,养殖尾水的处理成为了一个亟待解决的环保问题。传统的尾水处理方式不仅效率低下,而且难以实现精准监控和管理。为了提升尾水处理的效果和效率,同时降低人力成本,某大型水产养殖企业决定…...