如何在Spring Boot中使用@Scheduled写定时任务判断数据量是否过大,过大则进行分表操作,多张表使用临时视图查询
当数据量过大,在定时任务中执行分表操作
1、复制表结构及数据
在xml中编写复制表结构及数据(newTableName
为新表名、originalTableName
为原始表名)
只复制表结构:
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName} WHERE 1=0;
复制表结构以及数据:
CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};
在使用 CREATE TABLE … AS SELECT * FROM … 语句时,添加 WHERE 1=0 和不添加的区别在于是否复制原表的数据。
- 不加
WHERE 1=0
:这会将原表中的数据一同复制到新表中。新表将包含原表中所有的行数据。 - 加上
WHERE 1=0
:这样做不会复制任何原表中的数据,只会复制原表的结构(列定义)到新表中,但新表不会包含任何行数据。
因此,如果只复制表的结构而不需要复制数据,可以在 CREATE TABLE … AS SELECT * FROM … 语句后面加上 WHERE 1=0。如果需要同时复制表的结构和数据,就不需要添加这个条件。
2、清空原始表中的数据
清空原表:使用 DELETE
或 TRUNCATE
语句清空原表中的数据。例如:
- 使用
DELETE
语句逐行删除原表中的数据:
DELETE FROM original_table;
- 使用
TRUNCATE
语句一次性清空原表中的所有数据:
TRUNCATE TABLE original_table;
注意:TRUNCATE 语句会更快地清空表中的数据,但无法回滚操作。
在执行清空原始表中的数据操作之前,请务必备份好原表中的数据,以防止数据丢失或意外删除。
3、示例代码
定时任务类:
package com.yutu.garden.task;import com.yutu.garden.mapper.gardens.SanitationJobStatisticsMapper;
import org.springframework.boot.autoconfigure.condition.ConditionalOnProperty;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;import javax.annotation.Resource;
import java.text.SimpleDateFormat;
import java.util.Date;/*** 定时分区、分表*/
@Component
@EnableScheduling
//@ConditionalOnProperty(name = "scheduled.tasks.enabled", havingValue = "true") //application.yml控制所有task任务启动或不启动
public class SplitTrajectoryTableTask {@Resourceprivate SanitationJobStatisticsMapper sanitationJobStatisticsMapper;// @Scheduled(cron = "0 0 * * * ?") //每小时的整点执行一次任务@Scheduled(cron = "0 0/1 * * * ?") //一分钟执行一次public void checkDataSizeAndSplitTable() {int trajectorySize = sanitationJobStatisticsMapper.getTrajectorySize(); // 获取数据量if (trajectorySize >= 200000) { // 判断数据量是否过大splitTable(); // 执行分表操作}}private void splitTable() {// 获取需要分表的原始表名和新表名前缀(根据实际情况设置)String originalTableName = "card_device_trajectory_info"; //原始表名String newTableNamePrefix = "card_device_trajectory_info_"; //新表 (拼接日期)// 获取当前日期作为分表后缀(或者使用其他规则)SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");String tableSuffix = sdf.format(new Date());// 生成新表名String newTableName = newTableNamePrefix + tableSuffix;// 创建新的分表 并 将原始表中符合条件的数据迁移到新表(根据实际情况设置条件)sanitationJobStatisticsMapper.copyTable(originalTableName,newTableName);// 更新原始表 (将原始表中的数据清空)注意:测试前先备份好原始数据,以防丢失sanitationJobStatisticsMapper.truncateTable(originalTableName);}
}
Mapper方法:
int getTrajectorySize();boolean copyTable(@Param("originalTableName") String originalTableName,@Param("newTableName") String newTableName);boolean truncateTable(@Param("originalTableName") String originalTableName);
Sql语句:
<select id="getTrajectorySize" resultType="int">select count(*) from card_device_trajectory_info</select><update id="copyTable"><![CDATA[CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};]]></update><delete id="truncateTable">TRUNCATE TABLE ${originalTableName};</delete>
在 Mybatis 的 XML 中,使用 <![CDATA[ ]]>
包裹 SQL 语句是为了防止 XML 解析器将其中的特殊字符(如 <, >)解析成 XML 标签,从而导致语法错误。因此,加上<![CDATA[ ]]>
是一种良好的实践,可以确保 SQL 语句被正确解析。
但是,在某些情况下,如果 SQL 语句中不包含需要转义的特殊字符,也可以省略 <![CDATA[ ]]>
。例如,如果 SQL 语句只包含简单的 SELECT 语句,没有特殊字符,那么可以直接写在 <update> 标签内,而无需使用 <![CDATA[ ]]>
包裹。
以下是不使用 <![CDATA[ ]]>
包裹 SQL 语句的示例:
<update id="copyTable">CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTableName};
</update>
如果 SQL 语句中包含特殊字符或需要转义的内容,建议仍然使用 <![CDATA[ ]]>
对 SQL 进行包裹
4、多表创建临时视图查询
创建临时视图 card_device_trajectory_info_view
CREATE TEMPORARY VIEW card_device_trajectory_info_view AS
SELECT *
FROM card_device_trajectory_info --表1
UNION ALL
SELECT * FROM card_device_trajectory_info_bf; --表2
执行业务查询
select * from card_device_trajectory_info_view where imei = '15127423721' and DATE(gps_time) = CURRENT_DATE order by gps_time asc
手动删除视图资源 (如果不手动删除也会自动删除,所以这一步可以省略)
DROP VIEW card_device_trajectory_info_view;
临时视图
和普通视图(永久视图)
之间有以下区别:
- 生命周期:
临时视图
只在当前会话有效,会话结束后会自动删除。而普通视图
是永久性的,会一直存在数据库中,除非显式删除。 - 可见性:
临时视图
只对创建它的会话可见,其他会话无法访问。而普通视图
对所有会话都可见,可以被多个会话共享和使用。 - 存储方式:
临时视图
的数据可以存储在内存或者临时表中,查询速度较快。而普通视图
的数据存储在磁盘上,查询速度可能相对较慢。 - 持久性:
临时视图
是临时创建的,不会被数据库系统持久化存储。而普通视图
是一个已经定义好的查询,可以被保存并在需要时重新使用。 - 数据更新:
临时视图
一般用于查询数据,不能进行数据更新操作。而普通视图
可以根据定义的规则进行数据更新,例如使用触发器或者规定的权限。 - 使用场景:
临时视图
通常用于会话级别的临时计算或者中间结果的存储。普通视图
用于复杂查询、数据重用和提供简化的数据模型。
CREATE TEMPORARY VIEW table_view --创建临时视图(会话结束会自动删除)
CREATE VIEW table_view --创建普通视图(会话结束不会自动删除,需要手动 DROP VIEW table_view 进行删除)
总的来说,临时视图
适用于需要在会话中临时存储和处理数据的场景,而普通视图
适用于长期的数据查询和数据模型定义。选择使用哪种类型取决于业务需求和数据处理的特点。
相关文章:
如何在Spring Boot中使用@Scheduled写定时任务判断数据量是否过大,过大则进行分表操作,多张表使用临时视图查询
当数据量过大,在定时任务中执行分表操作 1、复制表结构及数据 在xml中编写复制表结构及数据(newTableName为新表名、originalTableName为原始表名) 只复制表结构: CREATE TABLE ${newTableName} AS SELECT * FROM ${originalTa…...
使用jieba库进行中文分词和去除停用词
jieba.lcut jieba.lcut()和jieba.lcut_for_search()是jieba库中的两个分词函数,它们的功能和参数略有不同。 jieba.lcut()方法接受三个参数:需要分词的字符串,是否使用全模式(默认为False)以及是否使用HMM模型&…...
C语言之分支与循环【附6个练习】
文章目录 前言一、什么是语句?1.1 表达式语句1.2 函数调用语句1.3 控制语句1.4 复合语句1.5 空语句 二、分支语句(选择结构)2.1 if语句2.1.1 悬空else2.1.2 练习(1. 判断一个数是否为奇数 2. 输出1-100之间的奇数) 2.2…...
使用通用MCU实现无人机飞行任务的快速二次开发
使用通用MCU实现无人机飞行任务的快速二次开发 ---TIDronePilot外部控制offboard模式介绍 无名小哥 2024年1月1日 传统飞控二次开发方法和主要存在的问题简介 通过对前面几讲中《零基础竞赛无人机积木式编程指南》系列开发教程的学习可知,在以往TI电赛真题的学习…...
什么是Selinux
官网地址:What is SELinux? 欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯. 概述 安全增强型 Linux (SELinux) 是Linux 系统的安全架构,允许管理员更好地控制谁可以访问系统。它最初是由美…...
计算机网络知识点
1. URI 和 URL 统一资源定位符(Uniform Resource Locator,缩写:URL),是对资源的引用和访问该资源的方法。俗称网址,就是浏览器地址栏里面的内容。 URL 语法为:protocol://userInfohost:port/p…...
Qt 连接 Mysql
Linux下安装mysql及qt连接_liunx下安装mysql及qt链接-CSDN博客...
HarmonyOS4.0系统性深入开发14AbilityStage组件容器
AbilityStage组件容器 AbilityStage是一个Module级别的组件容器,应用的HAP在首次加载时会创建一个AbilityStage实例,可以对该Module进行初始化等操作。 AbilityStage与Module一一对应,即一个Module拥有一个AbilityStage。 DevEco Studio默…...
客服系统接入FastGPT
接入FastGPT 点击【应用】【外部使用】【API访问】【新建】新建一个KEY,同时也可以看到我们的API根地址 这个根地址和Key可以填入任何支持OpenAI接口的应用里,这个接口是兼容OpenAI格式。 在客服系统【知识库AI配置】里填上接口地址和接口密钥。这样我…...
Hi5 2.0 虚拟手与追踪器(Tracker)的位置修正
问题描述 使用环境与工具:Unity 2022.3.4fc1,steam VR(2.7.3),steamvrSDK(1.14.15),HTC vive pro专业版,Hi5 2.0数据手套 首先按照Hi5 2.0的使用说明(可参考:HI5 2.0 交…...
广播及代码实现
广播(Broadcast)是一种网络通信方式,它允许一台设备向网络中的所有其他设备发送消息。广播通常用于在网络上传递一些信息,让所有设备都能接收并处理。在广播中,通信的目标是整个网络而不是特定的单个设备。 向子网中…...
QT应用篇 三、QML自定义显示SpinBox的加减按键图片及显示值效果
QT应用篇 一、QT上位机串口编程 二、QML用Image组件实现Progress Bar 的效果 三、QML自定义显示SpinBox的加减按键图片及显示值效果 文章目录 QT应用篇前言一、qml需求二、使用组件1.SpinBox组件2.SpinBox中QML的使用 总结 前言 记录自己学习QML的一些小技巧方便日后查找 QT的…...
2022年全国职业院校技能大赛网络安全竞赛试题1-10-B模块总结
前言 结尾有对22年国赛题型总结 试题1模块B 网络安全事件响应、数字取证调查和应用安全 B-1任务一:主机发现与信息收集 *任务说明:仅能获取Server1的IP地址 1.通过渗透机Kali2.0对靶机场景进行TCP同步扫描 (使用Nmap工具),并将该操作使用…...
20231228在Firefly的AIO-3399J开发板的Android11的Firefly的AIO-3399J开发板的DTS配置单前置摄像头ov13850
20231228在Firefly的AIO-3399J开发板的Android11的Firefly的AIO-3399J开发板的DTS配置单前置摄像头ov13850 2023/12/28 12:30 开发板:Firefly的AIO-3399J【RK3399】 SDK:rk3399-android-11-r20211216.tar.xz【Android11】 Android11.0.tar.bz2.aa【ToyBr…...
php-fpm运行一段时间,内存不足
目录 一:原因分析 二:解决 三:观察系统情况 php-fpm运行一段时间,内存不足,是什么原因呢。 一:原因分析 1:首先php-fpm的配置 (1)启动的进程数 启动的进程数越多,占用内存越高; 2:其次…...
基于轻量级GhostNet模型开发构建生活场景下生活垃圾图像识别系统
轻量级识别模型在我们前面的博文中已经有过很多实践了,感兴趣的话可以自行移步阅读: 《移动端轻量级模型开发谁更胜一筹,efficientnet、mobilenetv2、mobilenetv3、ghostnet、mnasnet、shufflenetv2驾驶危险行为识别模型对比开发测试》 《基…...
《Linux系列》Linux磁盘MBR分区扩容
文章目录 Linux磁盘MBR分区扩容1.前言2.控制台磁盘扩容3.分区扩容3.1 fdisk3.2 lsblk3.3 扩容分区 4.扩容文件系统4.1 df4.2 扩容文件系统 Linux磁盘MBR分区扩容 1)参考阿里云扩容分区文档,整理MBR分区扩容 2)本文档适用于MBR分区(fdisk -lu查…...
IPv6地址配置
IPv6地址接口配置 IPv6地址结构 一个IPv6地址可以分为两部分: 网络前缀:n比特,相当于IPv4地址中的网络ID 接口标识:128-n比特,相当于IPv4地址中的主机ID 注意: 对于IPv6单播地址来说,如果地址的前三bit不是000,则接口标识必须为64位,如果地址的前三位是000,则没有此…...
Ubuntu20.04 防火墙配置
ubuntu 系统中配置防火墙 ufw(Uncomplicated Firewall)是一个简化的、易于使用的Linux防火墙工具,旨在方便用户管理iptables防火墙规则。 特点 简化的防火墙管理:ufw提供了一个简洁的命令行界面,让您能够轻松地添加、…...
Windows上ModbusTCP模拟Master与Slave工具的使用
场景 Modbus Slave 与 Modbus Poll主从设备模拟软件与Configure Virtual Serial串口模拟软件使用: Modebus Slave 与 Modbus Poll主从设备模拟软件与Configure Virtual Serial串口模拟软件使用_modbus poll激活-CSDN博客 数据对接协议为Modbus TCP,本地开发需要使…...
史上最细,13年老鸟总结-性能测试7大关键点,一篇打通...
目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 1、测试环境的鉴定…...
长虹智能电视ZLM60HiS机芯刷机方法及刷机固件,附进维修模式方法
适配机芯:ZLM60HiS 型号:Q1FU、D6000i、U3、D8000ID 软件强制升级方法: 1、下载后解压,找到upgrade_ZLM60HiS_MT5508_V1.00xxx_part.pkg 、chandroid_ota_ZLM60HiS_datapart.zip复制到U盘根目录(不要有任何文件夹&a…...
计算机网络【Google的TCP BBR拥塞控制算法深度解析】
Google的TCP BBR拥塞控制算法深度解析 宏观背景下的BBR 慢启动、拥塞避免、快速重传、快速恢复: 说实话,这些机制完美适应了1980年代的网络特征,低带宽,浅缓存队列,美好持续到了2000年代。 随后互联网大爆发&#x…...
lvs+keepalived+nginx实现四层负载+七层负载
目录 一、lvs配置 二、nginx配置 三、测试 3.1 keepalived负载均衡 3.2 lvskeepalived高可用 3.3 nginx高可用 主机IPlvs01-33 11.0.1.33 lvs02-3411.0.1.34nginx0111.0.1.31nginx0211.0.1.32VIP11.0.1.30 4台主机主机添加host [rootnginx01 sbin]# cat /etc/hosts 127.0.0.…...
独立看门狗与窗口看门狗
一、简介 STM32F10xxx内置两个看门狗,提供了更高的安全性、时间的精确性和使用的灵活性。两个看门狗设备(独立看门狗和窗口看门狗)可用来检测和解决由软件错误引起的故障;当计数器达到给定的超时值时,触发一个中断(仅适用于窗口型看门狗)或产…...
【CTF杂项】常见文件文件头文件尾格式总结 各类文件头
常见文件文件头文件尾格式总结及各类文件头 以下是常见文件的文件头格式总结及各类文件头的描述: 图像文件: JPEG:文件头格式为FF D8 FF,文件尾格式为FF D9。PNG:文件头格式为89 50 4E 47 0D 0A 1A 0A,文件…...
深度学习-模型转换_所需算力相关
模型转换相关 tensflow转onnx python -m tf2onnx.convert \--graphdef /root/autodl-tmp/warren/text-detection-ctpn/data/ctpn.pb \--output ./model.onnx --inputs Placeholder:0 --outputs Reshape_2:0,rpn_bbox_pred/Reshape_1:0 pytorch转onnx #!/usr/…...
Koordinator 助力云原生应用性能提升:小红书混部技术实践
作者:宋泽辉(小红书)、张佐玮(阿里云) 编者按: Koordinator 是一个开源项目,是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生,是行业首个生产可用、面向大规模场景的开源混…...
java中如何使用elasticsearch—RestClient操作文档(CRUD)
目录 一、案例分析 二、Java代码中操作文档 2.1 初始化JavaRestClient 2.2 添加数据到索引库 2.3 根据id查询数据 2.4 根据id修改数据 2.4 删除操作 三、java代码对文档进行操作的基本步骤 一、案例分析 去数据库查询酒店数据,导入到hotel索引库࿰…...
MySQL自定义函数
MySQL自定义函数 函数与存储过程类似,也是一组预先编译好的SQL语句的集合,但是存储过程可以有0个或多个返回,函数就只能有一个返回 创建函数 #语法 参数列表包含两部分 参数名和参数类型 #函数体必须有return语句 且每个sql语句后要以;结尾 所…...
营销式网站制作/seo网络推广是什么意思
STM32F407ZG的简单介绍0 处理器基本参数1 程序环境2 系统架构2.1 S0:I 总线2.2 S1:D 总线3.3 S2:S 总线2.4 S3、S4:DMA 存储器总线2.5 S5:DMA 外设总线2.6 S6:以太网 DMA 总线2.7 S7:USB OTG HS…...
网站如何做双语言/网站在线生成app
JSP(Java Server Pages)是由Sun Microsystems公司倡导、许多公司参与一起建立的一种动态网页技术标准。JSP技术有点类似ASP技术,它是在传统的网页HTML文件(*.htm,*.html)中插入Java程序段(Scriptlet)和JSP标记(tag),从而形成JSP文件(*.jsp)。…...
怎么在wordpress建英文网站/长春百度网站快速排名
模拟场景 服务器:192.168.3.100 销售部:192.168.1.1 开发部:192.168.2.1 模拟互联网:1.1.1.1 要求1:销售部不允许访问服务器 要求2:开发部可以访问服务器 要求3:互联网不可以访问服务器 拓扑图…...
二级域名做城市分网站/百度搜索引擎收录入口
作者:Eaglet 随着.Net技术的发展,.Net技术被逐渐应用到很多大型的应用软件项目中。这些项目的规模越来越大,很多项目中除了自己的代码外还引用了很多第三方的.net组件。同时很多项目又被应用到很多关键的部门,软件系统的稳定性越来…...
宁夏吴忠市红寺堡建设局网站/百度seo搜索引擎优化厂家
前言:进行软件测试面试时,相信大家或多或少都会被问到一些关于计算机网络的问题,今天这篇文章就目前反馈比较多的计算机网络面试题及答案做了一个整理,在找工作的你,赶紧看过来~ 1. 说一下你理解的七层网络模型&#…...
wordpress 段落显示不全/长春seo外包
[十二省联考2019]异或粽子 先吐槽一下,在考场上完全没有将这道题和超级钢琴联系起来,然后\(GG\),喜提\(60\)走人 赛后听说直接上可持久化\(Trie\)用堆维护就好了 然后自己回来又打开了超级钢琴. 这道题就有思路了 很明显,这道题我们可以利用前缀和优化到最大的\(k\)对数的异或和…...