MYSQL分表容量预估:简明指南
随着数据量的日益增长,分表技术成为优化mysql数据库性能的重要策略。本文介绍一种简明有效的预估分表容量大小的方法,帮助开发者和数据库管理员进行有效的资源规划。
背景
在处理大规模数据时,为了优化性能和管理便利,常常采用分表技术。分表可以帮助减少单个表的大小,优化查询效率,提高数据管理的灵活性。但同时带来了一个挑战:如何准确预估分表后的容量需求。
方案概述
数据行大小评估: 考虑到各字段类型及长度,我们可以计算出单行数据的大致大小。
数据增长预测:基于历史数据增长趋势,我们可以预估未来的数据量。
索引和冗余数据:考虑到索引和可能的冗余数据对总容量的影响。
实例分析:电商平台用户表容量预估
让我们以一个具体的例子来说明这种容量预估方法的应用。假设我们有一个电商平台的用户表 user_profiles,该表包含以下字段:用户ID (id), 用户名 (username), 个人头像链接 (profile_pic), 性别 (gender), 出生日期 (date_of_birth), 账户创建时间 (created_at), 最后更新时间 (updated_at)
CREATE TABLE user_profiles
(id INT NOT NULL AUTO_INCREMENT COMMENT '主键ID',username VARCHAR(40) DEFAULT NULL COMMENT '用户名',profile_pic VARCHAR(200) DEFAULT NULL COMMENT '个人头像链接',gender SMALLINT DEFAULT NULL COMMENT '性别标识,0表示男性,1表示女性',date_of_birth DATE DEFAULT NULL COMMENT '出生日期',created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '账户创建时间',updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间',PRIMARY KEY (id)
) ENGINE = InnoDB;
要准确计算单行记录的大小,我们需要考虑字段类型和长度、索引、分表策略以及大量用户数据对数据库大小的影响。首先,我们计算基本单行记录的大小:
下面是一个 MySQL 数据类型及其大致占用字节数的表格:
数据类型 | 字节(大小) | 说明 |
---|---|---|
TINYINT | 1 | |
SMALLINT | 2 | |
MEDIUMINT | 3 | |
INT, INTEGER | 4 | |
BIGINT | 8 | |
FLOAT | 4 | 单精度浮点数 |
DOUBLE | 8 | 双精度浮点数 |
DECIMAL(M,D) | 整数部分:⌈(M - D) / 4⌉ * 2, 小数部分:⌈D / 4⌉ * 2, +1 字节符号位 | 定点数,存储大小取决于声明的精度和标度 |
CHAR(N) | N | 定长字符串,最大 255 字节 |
VARCHAR(N) | N + 1 或 N + 2 | 变长字符串,长度取决于最大长度(<= 255 则加 1 字节,否则加 2 字节) |
TEXT | 最大 65535 | 长文本数据 |
BLOB | 最大 65535 | 二进制大对象 |
MEDIUMTEXT | 最大 16777215 | 中等长度文本 |
MEDIUMBLOB | 最大 16777215 | 中等长度二进制对象 |
LONGTEXT | 最大 4294967295 | 长文本数据 |
LONGBLOB | 最大 4294967295 | 长二进制对象 |
DATE | 3 | |
TIME | 3 | |
DATETIME | 8 | |
TIMESTAMP | 4 | 从1970-01-01 00:00:01至今的秒数 |
YEAR | 1 | |
BIT(N) | N | 位字段,占用字节取决于位数 |
下面是 BIT 类型的一些示例及其对应的存储大小:
数据类型 | 大小(字节) |
---|---|
BIT(1) | 1 |
BIT(9) | 2 |
BIT(17) | 3 |
BIT(25) | 4 |
BIT(33) | 5 |
BIT(41) | 6 |
BIT(49) | 7 |
BIT(57) | 8 |
这个表格展示了 BIT 类型在不同位数下的存储大小。例如,BIT(1) 到 BIT(8) 都占用 1 个字节,BIT(9) 到 BIT(16) 占用 2 个字节,依此类推。这种计算方法适用于所有 BIT(N) 类型,其中 N 可以从 1 到 64
通过上述表格,计算单行记录的大小
id (INT): 占用 4 字节。
username (VARCHAR(40)): 最大占用 40 字节, 1个字节前缀。
profile_pic (VARCHAR(200)): 最大占用 200 字节, 1个字节前缀。
gender (SMALLINT): 占用 2 字节。
date_of_birth (DATE): 占用 3 字节。
created_at (TIMESTAMP): 占用 4 字节。
updated_at (TIMESTAMP): 占用 4 字节。
4 + 40 + 1 + 200 + 1 + 3 + 2 + 8 = 259 字节
参数 | 描述 | 初始值 | 五年后预测值 |
---|---|---|---|
用户数量 | 初始用户量及预期增长率 | 500万 | 1.2亿 |
单行数据大小 | 根据字段类型和长度评估 | 259 字节 | 假设增加至 300 字节 |
总容量 | 根据用户数和单行大小计算 | 约 1.3 GB | 约 34 GB |
分表策略 | 用户量增长分表策略 | 每增长200万用户分一次表 | 每增长200万用户分一次表 |
性能与成本评估
性能提升:分表后查询性能显著提升,尤其在高峰时段。
成本考量:存储成本有所增加,但由于性能优化,整体效益提高。
相关文章:
MYSQL分表容量预估:简明指南
随着数据量的日益增长,分表技术成为优化mysql数据库性能的重要策略。本文介绍一种简明有效的预估分表容量大小的方法,帮助开发者和数据库管理员进行有效的资源规划。 背景 在处理大规模数据时,为了优化性能和管理便利,常常采用分…...
面试宝典进阶之Java线程面试题
T1、【初级】线程和进程有什么区别? (1)线程是CPU调度的最小单位,进程是计算分配资源的最小单位。 (2)一个进程至少要有一个线程。 (3)进程之间的内存是隔离的,而同一个…...
BOM简介
1.1 常用的键盘事件 1.1.1 键盘事件 键盘事件触发条件onkeydown按键被按下时触发onkeypress按键被按下时触发onkeyup按键被松开时触发 注意:addEventListener事件不需要加on <script>//1. keydown 按键按下的时候触发,按任意键都触发,也可以识…...
Java中的集合框架
概念与作用 集合概念 现实生活中:很多事物凑在一起 数学中的集合:具有共同属性的事物的总体 java中的集合类:是一种工具类,就像是容器,储存任意数量的具有共同属性的对象 在编程时,常常需要集中存放多个…...
Rustdesk打开Win10 下客户端下面服务不会自启,显示服务未运行
环境: Rustdesk1.19 问题描述: Rustdesk打开Win10 下客户端下面服务不会自启,显示服务未运行 解决方案: 1.查看源代码 pub async fn start_all() {crate::hbbs_http::sync::start();let mut nat_tested = false;check_zombie()...
【SPDK】【NoF】使用SPDK部署NVMe over TCP
SPDK NVMe over Fabrics Target是一个用户空间应用程序,通过以太网,Infiniband或光纤通道等结构呈现块设备,SPDK目前支持RDMA和TCP传输。 本文将在已经编译好SPDK的基础上演示如何使用SPDK搭建NVMe over TCP,前提是您已经将一块NVMe硬盘挂载…...
Spring boot 3 集成rocketmq-spring-boot-starter解决版本不一致问题
安装RocketMQ根据上篇文章使用Docker安装RocketMQ并启动之后,有个隐患详情见下文 Spring Boot集成 <dependency><groupId>org.apache.rocketmq</groupId><artifactId>rocketmq-spring-boot-starter</artifactId><version>2.2…...
python爬虫实战(6)--获取某度热榜
1. 项目描述 需要用到的类库 pip install requests pip install beautifulsoup4 pip install pandas pip install openpyxl然后,我们来编写python脚本,并引入需要的库: import requests from bs4 import BeautifulSoup import pandas as p…...
十三、K8S之亲和性
亲和性 一、概念 在K8S中,亲和性(Affinity)用来定义Pod与节点关系的概念,亲和性通过指定标签选择器和拓扑域约束来决定 Pod 应该调度到哪些节点上。与污点相反,它主要是尽量往某节点靠。 亲和性是 Kubernetes 中非常…...
对于网关的理解-Gateway
因为在使用微服务的时候,会有多端请求。会产生以下问题: 1.客户端需要记住每一个微服务的url 2.主机端口也会直接暴露 3.每一个微服务都需要认证 4.存在跨域问题 所以网关可以解决统一访问、隐藏真实的服务器地址、网关进行统一认证、解决跨域问题、…...
win10 - Snipaste截图工具的使用
win10 - Snipaste截图工具的使用 Step 1:下载 下载链接 提取码:wuv2 Step 2:直接解压可用 找到解压好的目录,并双击exe文件即可 Step 3:设置开机启动 在电脑右下角找到snipaste图标,右键,找…...
Selenium 学习(0.19)——软件测试之基本路径测试法——拓展案例
1、案例 请使用基本路径法为变量year设计测试用例,year的取值范围是1000<year<2001。代码如下: 2、步骤 先画控制流程图 再转化为控制流图(标出节点) V(G) 总区域数 4 V(G) E - N 2 (边数 - 节点数 2…...
工作记录-------正则表达式---小白也能看懂
什么是正则表达式 正则表达式是一种强大的工具,用于匹配和识别文本模式。 下面是一个基本的介绍: ^ 和 $: 这些是锚定字符,分别匹配字符串的开头和结尾。例如,^Hello匹配以 “Hello” 开头的字符串,end$匹配以 “en…...
C3-1.3.1 无监督学习——异常检测
C3-1.3.1 无监督学习——异常检测 1、举例:异常值检测示例——密度评估法 1.1 举一个例子 这里做的是 查看飞机发动机 异常检测: 左侧:X1 ,X2 … 是 可能会影响发动机状态的特征右侧: Dataset:训练数据集New engine…...
1.4.1机器学习——梯度下降+α学习率大小判定
1.4.1梯度下降 4.1、梯度下降的概念 ※【总结一句话】:系统通过自动的调节参数w和b的值,得到最小的损失函数值J。 如下:是梯度下降的概念图。 我们有一个损失函数 J(w,b),包含两个参数w和b(你可以想象成J(w,b) w*x…...
在IntelliJ IDEA中,.idea文件是什么,可以删除吗
相信有很多小伙伴,在用idea写java代码的时候,创建工程总是会出现.idea文件,该文件也从来没去打开使用过,那么它在我们项目里面,扮演什么角色,到底能不能删除它呢? 1、它是什么?有什么…...
【Spring Cloud】Gateway组件的三种使用方式
🎉🎉欢迎来到我的CSDN主页!🎉🎉 🏅我是Java方文山,一个在CSDN分享笔记的博主。📚📚 🌟推荐给大家我的专栏《Spring Cloud》。🎯🎯 &am…...
对象的复制
方式一:sv 的new函数 trans tr1,tr2; malbox.get(tr2); tr1 new tr2;//仅用于浅拷贝,拷贝后tr1,tr2为两个独立的对象方式二:uvm 域的自动化常用函数:copy / clone / 使用前提: 1. 函数都可用于uvm_object类型&…...
基于 Python+Neo4j+医药数据,构建了一个知识图谱的自动问答系统
知识图谱是目前自然语言处理的一个热门方向。目前知识图谱在各个领域全面开花,如教育、医疗、司法、金融等。 本项目立足医药领域,以垂直型医药网站为数据来源,以疾病为核心,构建起一个包含7类规模为4.4万的知识实体,…...
Maven之属性管理
1.属性管理 1.1 属性配置与使用 ①:定义属性 <!--定义自定义属性--> <properties><spring.version>5.2.10.RELEASE</spring.version> </properties>②:引用属性 <dependency><groupId>org.springframewor…...
快乐学Python,数据分析之获取数据方法「公开数据或爬虫」
学习Python数据分析,第一步是先获取数据,为什么说数据获取是数据分析的第一步呢,显而易见:数据分析,得先有数据,才能分析。 作为个人来说,如何获取用于分析的数据集呢? 1、获取现成…...
前端常用的设计模式
设计模式:是一种抽象的编程思想,并不局限于某一特定的编程语言,而是在许多语言之间是相通的;它是软件设计中常见的问题的通用、可反复使用、多少人知晓的一种解决方案或者模板。一般对与从事过面向对象编程的人来说会更熟悉一些。…...
游戏引擎支持脚本编程有啥好处
很多游戏引擎都支持脚本编程。Unity、Unreal Engine、CryEngine等大型游戏引擎都支持使用脚本编写游戏逻辑和功能。脚本编程通常使用C#、Lua或Python等编程语言,并且可以与游戏引擎的API进行交互来控制游戏对象、设置变量、执行行为等。使用脚本编程,游戏…...
react中概念性总结(二)
目录 说说你对react的理解?有哪些特性? 说说Real diff算法是怎么运作的,从tree层到component层到element层分别讲解? 调和阶段setState干了什么? 说说redux的工作流程? 为什么react元素有一个$$type属…...
WPF自定义漂亮顶部工具栏 WPF自定义精致最大化关闭工具栏 wpf导航栏自定义 WPF快速开发工具栏
在WPF应用程序开发中,自定义一个漂亮的顶部工具栏具有多重关键作用,它不仅增强了用户体验,还提升了整体应用的专业性和易用性。以下是对这一功能的详细介绍: 首先,自定义顶部工具栏是用户界面设计的重要组成部分&…...
Transformer 的双向编码器表示 (BERT)
一、说明 本文介绍语言句法中,最可能的单词填空在self-attention的表现形式,以及内部原理的介绍。 二、关于本文概述 在我之前的博客中,我们研究了关于生成式预训练 Transformer 的完整概述,关于生成式预训练 Transformer (GPT) 的…...
关于LwRB环形缓冲区开源库的纯C++版本支持原子操作
1、LwRB环形缓冲区开源库: GitHub - MaJerle/lwrb: Lightweight generic ring buffer manager libraryLightweight generic ring buffer manager library. Contribute to MaJerle/lwrb development by creating an account on GitHub.https://github.com/MaJerle/l…...
微信小程序Canvas画布绘制图片、文字、矩形、(椭)圆、直线
获取CanvasRenderingContext2D 对象 .js onReady() {const query = wx.createSelectorQuery()query.select(#myCanvas).fields({ node: true, size: true }).exec((res) => {const canvas = res[0].nodeconst ctx = canvas.getContext(2d)canvas.width = res[0].width * d…...
Unity Editor实用功能:Hierarchy面板的对象上绘制按按钮并响应
目录 需求描述上代码打个赏吧 需求描述 现在有这样一个需求: 在Hierarchy面板的对象上绘制按钮点击按钮,弹出菜单再点击菜单项目响应自定义操作在这里的响应主要是复制对象层级路路径 看具体效果请看动图: 注: 核心是对Edito…...
解决录制的 mp4 视频文件在 windows 无法播放的问题
解决录制的 mp4 视频文件在 windows 无法播放的问题 kazam 默认录制保存下来的 mp4 视频文件在 windows 中是无法直接使用的,这是由于视频编码方式的问题。解决办法: 首先安装 ffmeg 编码工具: sudo apt-get install ffmpeg 然后改变视频的…...
外贸建立网站怎么做/有没有推广app的平台
首先我们看下面视图: 这种效果大家都不陌生,网上好多都说是仿人人网的,估计人家牛逼出来的早吧,我也参考了一一些例子,实现起来有三种方法,我下面简单介绍下: 方法一:其实就是对Gest…...
江西网站备案要求/项链seo关键词
[机器学习][3]--口袋算法与线性回归今天将会接着第一篇文章的PLA算法接着讲下去,将会去优化PLA算法。 首先有个问题需要说一下,一般来说,如果要测试某个模型的可用性,最好就是利用真实数据。但是由于我没能找到好的数据来做测试…...
1g网站空间/活动推广软文范例
目录一 关联github远程仓库二 关联gitee远程仓库三 origin四 https和git协议五 切换协议六 更新远程仓库到本地1 git fetch2 git pull七 git fetch和git pull的区别1 git fetch2 git pull八 submodule子模块1 背景2 添加子模块3 子模块的使用4 子模块的更新5 删除子模块九 遇到…...
wordpress改变邮箱/网站查询系统
静下心来读源码,给想要了解spark sql底层解析原理的小伙伴们!【本文大纲】1、前言2、Strategy3、Batch(包含一个或多个Rule及一个策略)4、batches: Seq[Batch](Batch队列)5、execute(核心方法)前言Spark sql通过Analyzer中 定义的rule把Parsed Logical P…...
长治网站设计制作网站/seo的中文名是什么
云计算主要是通过网络,将IT以抽象化的方式交付给客户,为基于IT的服务交付模式带来巨大变革,云计算的独特优势:大规模资源池化、资源弹性、按需分配、自动化部署、高可靠性、高运营效率及技术和IT的高透明度。 云计算平台的实现主要…...
济宁市网站建设/网页制作流程
今天给大家带来这篇首页UI设计的文章,准备工作,给大家介绍一下需要用的几样工具,首先是微信小程序开发者工具,微信小程序开发文档.,LinUI组件安装包等.有了这几样工具,小程序的UI设计,就像搭积木一样方便.再加上自己个性化的设计.下面先看看我搭建微信小程序首页效果.小程序UI样…...