MySQL使用binlog日志做数据恢复
MySQL的binlog日志是MySQL日志中非常重要的一种日志,记录了数据库所有的DML操作。通过binlog日志我们可以进行数据库的读写分离、数据增量备份以及服务器宕机时的数据恢复。
定期备份固然可以在服务器发生宕机的时候快速的恢复数据,但传统的全量备份不可能做到实时,所以在发生宕机的时候,也会损伤一部分数据,如果这个时候开启了binlog日志,那么可以通过binlog来对没有做备份的这一阶段损失的数据进行恢复。如果了解Redis的朋友,可能想到了,Redis有两种持久化方式,分别是AOF和RDB。RDB就类似于MySQL的全量复制,AOF就类似于MySQL的binlog。
关于数据的恢复这里在说一点,既然binlog这么好,是不是开启了binlog就不需要定期做备份了呢,不要这样做。为什么呢,因为binlog的数据量非常大,另外就是使用binlog做数据的恢复性能会非常低。因为binlog是对操作的记录,比如某一时刻,我先插入了一条数据,然后将这条数据删除了,本身数据是没了,但有两条操作。如果是全量备份,肯定没有这条数据,如果使用binlog需要执行一条插入和一条删除操作,因此性能和文件大小都是比较大的。
啰嗦了一堆,下面说关于数据恢复的问题:
先创建一个数据库一个表,再插入两行数据
mysql> create database mytest;
ERROR 1007 (HY000): Can't create database 'mytest'; database exists
mysql> use mytest;
Database changed
mysql> create table t1(id int ,name varchar(20));
Query OK, 0 rows affected (0.02 sec)
mysql> insert into t1 values (1,'xiaoming');
Query OK, 1 row affected (0.02 sec)
mysql> insert into t1 values (2,'xiaohong');
Query OK, 1 row affected (0.01 sec)
备份数据库
[mysql@t3-dtpoc-dtpoc-web04 mysql]$ cd /home/mysql/mysql/bin
[mysql@t3-dtpoc-dtpoc-web04 bin]$ ./mysqldump -uroot -p -B -F -R -x --master-data=2 mytest | gzip > /testdata/mysql/backup/bak_$(date +%F).sql.gz
Enter password:
[mysql@t3-dtpoc-dtpoc-web04 bin]$ cd /testdata/mysql/backup/
[mysql@t3-dtpoc-dtpoc-web04 backup]$ ls
bak_2023-08-22.sql.gz
参数说明:
-B:指定数据库
-F:刷新日志 (执行一下flush logs)
-R:备份存储过程等
-x:锁表
--master-data:在备份语句里添加CHANGE MASTER语句以及binlog文件及位置点信息
这样呢,我们就把数据做了一个完整的备份。下面来删除数据库,然后通过备份数据进行恢复数据库。
[mysql@t3-dtpoc-dtpoc-web04 backup]$ gzip -d bak_2023-08-22.sql.gz
[mysql@t3-dtpoc-dtpoc-web04 backup]$ ls
bak_2023-08-22.sql
[mysql@t3-dtpoc-dtpoc-web04 bin]$ ./mysql -uroot -p < /testdata/mysql/backup/bak_2023-08-22.sql
Enter password:
这样我们就把数据导入到库里了。
继续上面的操做,我们新增xiaoli和xiaozhao这两条数据,并把xiaozhao这条记录删除掉。
在删除之前,我们先来刷新binlog日志,生成一个新的日志,那么我们之后所要操做的内容都会被记录到新的日志文件中。(通过前面binlog日志的详细说明我们知道,每次刷新和服务重启的时候,都会生成一个binlog日志文件。)
mysql> flush logs;
Query OK, 0 rows affected (0.01 sec)
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 154 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
我们注意,binlog的文件是0003,位置是在154,这两个信息很重要
下面我们来做插入和删除操作
mysql> insert into t1 values (3,'xiaoli');
Query OK, 1 row affected (0.00 sec)
mysql> insert into t1 values (4,'xiaozhao');
Query OK, 1 row affected (0.01 sec)
mysql> select * from t1;
+------+----------+
| id | name |
+------+----------+
| 1 | xiaoming |
| 2 | xiaohong |
| 3 | xiaoli |
| 4 | xiaozhao |
+------+----------+
4 rows in set (0.00 sec)
这个时候我们应该是来查看一下binlog日志的状态,以便与我们一会来进行恢复到此状态,但是,真正的环境中我们并不知道这个状态,因此这里也就不去查看这个状态了,这个状态的值可以通过后面查看binlog日志文件来进行分析。下面我们开始误操作:
我们来把xiaozhao删除掉
mysql> delete from t1 where id=4;
Query OK, 1 row affected (0.00 sec)
这样数据就删除掉了,下面我们再来查看binlog的状态
show master status;
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 1776 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
这个时候我们发现我删除操作是个错误的操作,要进行恢复,那么该如何恢复呢?这个时候我们就可以通过binlog的position来进行恢复。
在进行其他的处理之前,我们建议,马上再执行一次flush logs,也就是让出错的部分就集中在这么一个binlog日志文件中。
我们来查看0003的binlog日志。
mysql> show binlog events in 'mysql-bin.000003';
+------------------+------+----------------+-----------+-------------+----------------------------------------+
| Log_name | Pos | Event_type | Server_id | End_log_pos | Info |
+------------------+------+----------------+-----------+-------------+----------------------------------------+
| mysql-bin.000003 | 4 | Format_desc | 123454 | 123 | Server ver: 5.7.26-log, Binlog ver: 4 |
| mysql-bin.000003 | 123 | Previous_gtids | 123454 | 154 | |
| mysql-bin.000003 | 154 | Anonymous_Gtid | 123454 | 219 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000003 | 219 | Query | 123454 | 293 | BEGIN |
| mysql-bin.000003 | 293 | Rows_query | 123454 | 351 | # insert into t1 values (1,'xiaoli') |
| mysql-bin.000003 | 351 | Table_map | 123454 | 401 | table_id: 130 (mytest.t1) |
| mysql-bin.000003 | 401 | Write_rows | 123454 | 448 | table_id: 130 flags: STMT_END_F |
| mysql-bin.000003 | 448 | Xid | 123454 | 479 | COMMIT /* xid=191 */ |
| mysql-bin.000003 | 479 | Anonymous_Gtid | 123454 | 544 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000003 | 544 | Query | 123454 | 618 | BEGIN |
| mysql-bin.000003 | 618 | Rows_query | 123454 | 676 | # delete from t1 where name='xiaoli' |
| mysql-bin.000003 | 676 | Table_map | 123454 | 726 | table_id: 130 (mytest.t1) |
| mysql-bin.000003 | 726 | Delete_rows | 123454 | 773 | table_id: 130 flags: STMT_END_F |
| mysql-bin.000003 | 773 | Xid | 123454 | 804 | COMMIT /* xid=192 */ |
| mysql-bin.000003 | 804 | Anonymous_Gtid | 123454 | 869 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000003 | 869 | Query | 123454 | 943 | BEGIN |
| mysql-bin.000003 | 943 | Rows_query | 123454 | 1001 | # insert into t1 values (3,'xiaoli') |
| mysql-bin.000003 | 1001 | Table_map | 123454 | 1051 | table_id: 130 (mytest.t1) |
| mysql-bin.000003 | 1051 | Write_rows | 123454 | 1098 | table_id: 130 flags: STMT_END_F |
| mysql-bin.000003 | 1098 | Xid | 123454 | 1129 | COMMIT /* xid=193 */ |
| mysql-bin.000003 | 1129 | Anonymous_Gtid | 123454 | 1194 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000003 | 1194 | Query | 123454 | 1268 | BEGIN |
| mysql-bin.000003 | 1268 | Rows_query | 123454 | 1328 | # insert into t1 values (4,'xiaozhao') |
| mysql-bin.000003 | 1328 | Table_map | 123454 | 1378 | table_id: 130 (mytest.t1) |
| mysql-bin.000003 | 1378 | Write_rows | 123454 | 1427 | table_id: 130 flags: STMT_END_F |
| mysql-bin.000003 | 1427 | Xid | 123454 | 1458 | COMMIT /* xid=194 */ |
| mysql-bin.000003 | 1458 | Anonymous_Gtid | 123454 | 1523 | SET @@SESSION.GTID_NEXT= 'ANONYMOUS' |
| mysql-bin.000003 | 1523 | Query | 123454 | 1597 | BEGIN |
| mysql-bin.000003 | 1597 | Rows_query | 123454 | 1646 | # delete from t1 where id=4 |
| mysql-bin.000003 | 1646 | Table_map | 123454 | 1696 | table_id: 130 (mytest.t1) |
| mysql-bin.000003 | 1696 | Delete_rows | 123454 | 1745 | table_id: 130 flags: STMT_END_F |
| mysql-bin.000003 | 1745 | Xid | 123454 | 1776 | COMMIT /* xid=196 */ |
+------------------+------+----------------+-----------+-------------+----------------------------------------+
32 rows in set (0.00 sec)
我们看到delete_rows 结束点是1776这个点,起始点是在1523这个点,我们可以把操作的这些数据删除到我们上次备份的内容,然后通过执行binlog来进行恢复,当然恢复到1523这个点之前。
比如我上次备份的是整个数据库,我就可以把整个数据库删除,然后通过备份文件恢复,然后再通过binlog做增量恢复。这样数据就回来了。这里就不再进行删库了,我们直接演示使用binlog日志恢复数据的方法
语法如下
mysqlbinlog mysql-bin.0000xx | mysql -u用户名 -p密码 数据库名
比如我们要把所有的操作都恢复(不包括我们的删除,我们知道删除是在1523点上):
[mysql@t3-dtpoc-dtpoc-web04 bin]$ ./mysqlbinlog /testdata/mysql/log/bin/mysql-bin.000003 --start-position 154 --stop-position 1523 | ./mysql -uroot -p mytest
Enter password:
mysql> select * from t1;
+------+----------+
| id | name |
+------+----------+
| 1 | xiaoming |
| 2 | xiaohong |
| 3 | xiaoli |
| 3 | xiaoli |
| 4 | xiaozhao |
+------+----------+
5 rows in set (0.00 sec)
、
我们发现xiaozhao又回来了,当然了,这里多了一个xiali,是因为我之前并没有删除备份前的数据。当然了,我们在恢复的过程中可以选择只恢复xiaozhao这么一块内容
下面是binlog日志恢复中一些常用的参数
--start-datetime:从二进制日志中读取指定等于时间戳或者晚于本地计算机的时间
--stop-datetime:从二进制日志中读取指定小于时间戳或者等于本地计算机的时间 取值和上述一样
--start-position:从二进制日志中读取指定position 事件位置作为开始。
--stop-position:从二进制日志中读取指定position 事件位置作为事件截至
相关文章:
MySQL使用binlog日志做数据恢复
MySQL的binlog日志是MySQL日志中非常重要的一种日志,记录了数据库所有的DML操作。通过binlog日志我们可以进行数据库的读写分离、数据增量备份以及服务器宕机时的数据恢复。 定期备份固然可以在服务器发生宕机的时候快速的恢复数据,但传统的全量备份不可…...
USB Type-C端口集成式ESD静电保护方案 安全低成本
Type-C端口是根据USB3.x和USB4协议传输数据的,很容易受到电气过载(EOS)和静电放电(ESD)事件的影响。由于Type-C支持随意热插拔功能,其内部高集成度的芯片,更容易受到人体静电放电的伤害和损坏。…...
Shiro学习总结
第一章 入门概述 1.概念 shiro是一个Java安全框架,可以完成:认证、授权、加密、会话管理、与web集成、缓存… 2.优势 ● 易于使用,构建简单 ● 功能全面 ● 灵活,可以在任何应用程序环境中工作,并且不需要依赖它们…...
AS中回退git历史版本并删除历史提交记录
当您想把某个版本后的代码删除,回滚到指定的版本。可以使用一下的方法。 一、打开AS中git历史提交窗口 二、选择需要回滚的版本选项,右键弹出菜单。选择Reset Current Branch to Here... 三、选择 Hard 选项 soft:将合并的更改应用到当前分支…...
线性代数的学习和整理5: 矩阵的加减乘除及其几何意义
目录 1 矩阵加法 1.1 矩阵加法的定义 1.2 加法的属性 1.2.1 只有同类型,相同n*m的矩阵才可以相加 1.2.1 矩阵加法的可交换律: 1.2.2 矩阵加法的可结合律: 1.3矩阵加法的几何意义 2 矩阵的减法 2.1 矩阵减法定义和原理基本同 矩阵的…...
sqlsugar 使用TNS连接oracle
在使用SqlSugar连接Oracle数据库时,可以通过TNS来实现连接。以下是一个示例代码,展示了如何使用TNS连接Oracle数据库: 首先,确保您已经安装了Oracle客户端,并正确配置了TNS的相关信息。 // 引入SqlSugar命名空间 usi…...
用python解压zip文件
因为某个需求,需要用python处理解压文件,这里记录下完成的代码,需要注意的是删除解压出来的文件夹时,很多博客都说直接用removedirs就行,实际我在py3.7上测试会提示“文件夹非空”,而且想想如果直接移除了根…...
代码随想录22| 216.组合总和III, 17.电话号码的字母组合
216.组合总和III 题目链接/文章讲解:链接地址 视频讲解:链接地址 代码思路:回溯三部曲: 1.确定函数参数:n,k,sum,startIndex; 2.结束条件,path k,并且如果sumn 结束递归 3.递归回溯逻辑。 class Solution…...
ITIL4—战略与指导
战略与指导 成功的服务提供,需要朝着商定的目标采取协调一致的行动。本节将探讨服务供应商战略的创建和管理,其目的是首先对战略的本质、范围,以及战略与指导的关系建立基本的理解,然后为与该战略一致的指导活动提供指导。 本节…...
【Spring】Spring循环依赖(超重要!!)
目录 什么是循环依赖问题 循环依赖具体是怎么解决的 具体的解决步骤: 通俗实例: 严谨的循环依赖解决图例 为什么使用的是三级缓存,二级缓存不够用吗? 什么是循环依赖问题 Spring的循环依赖是指在Bean之间存在相互依赖关…...
数据分析之路应该是就此开启了
咱就是说工作以后,就是重新学习的开始啊。 祝自己顺顺利利。 前路漫漫亦灿灿。 数据分析之路,开启吧。 以下是借鉴网上的学习路线。 这个学习路线图主要分为以下几个部分: 基础知识 :包括数学、统计学和编程语言。这是数据分析的…...
win10如何配置jdk环境变量
1.首先要打开系统环境变量配置的页面。具体操作是:打开开始菜单,找到“此电脑”,然后右键“更多”→“属性”。 2.在弹出的页面,选择“高级系统设置” 3.在弹出的页面,选择“环境变量(N)…”。 …...
pm4py使用指南(非机翻)
目录 1. 日志数据读取及预处理(1)查看case和event数量(2)查看起始事件和结束事件(3)时间戳格式的问题 2. 日志数据过滤3. 流程发现4. 模型转化5. 模型可视化 1. 日志数据读取及预处理 通过 pandas库 读取c…...
ChatGPT帮助提升工作效率和质量:完成时间下降40%,质量评分上升 18%
自ChatGPT去年11月发布以来,人们就开始使用它来协助工作,热心的用户利用它帮助撰写各种内容,从宣传材料到沟通话术再到调研报告。 两名MIT经济学研究生近日在《科学》杂志上发表的一项新研究表明,ChatGPT可能有助于减少员工之…...
第二章 搜索
本篇博文是笔者归纳汇总的AcWing基础课题集,方便读者后期复盘巩固~ PS:本篇文章只给出完整的算法实现,并没有讲解具体的算法思路。如果想看算法思路,可以阅读笔者往期写过的文章(或许会有),也可…...
transform_train.json文件解析
transform_train.json 文件内容解析transform_matrix 文件内容解析 {"camera_angle_x": 0.6911112070083618,"frames": [{"file_path": "./train/r_0","rotation": 0.012566370614359171,"transform_matrix": [[…...
Wlan——锐捷零漫游网络解决方案以及相关配置
目录 零漫游介绍 一代零漫游 二代单频率零漫游 二代双频率零漫游 锐捷零漫游方案总结 锐捷零漫游方案的配置 配置无线信号的信道 开启关闭5G零漫游 查看配置 零漫游介绍 普通的漫游和零漫游的区别 普通漫游 漫游是由一个AP到另一个AP或者一个射频卡到另一个射频卡的漫…...
分布式锁系列之zookeeper分布式锁和mysql分布式锁
目录 介绍 下载安装 基本指令编辑 java集成zookeeper 官方提供版 永久节点 临时节点编辑 永久序列化节点 判断当前节点是否存在 获取当前节点中的数据内容 获取当前节点的子节点 更新节点内容 删除节点 zookeeper实现分布式锁 Mysql实现分布式锁 总结 介绍 ZooK…...
Ubuntu部署PHP7.4
系统版本:Ubuntu22.04 PHP版本: 7.4 Mysql版本:8.0 Nginx版本: 最新 1. 更新系统 首先,确保系统包是最新的: sudo apt update && sudo apt upgrade -y2. 安装 Nginx Nginx 在默认的 Ubuntu 仓库中,因此安装…...
WPF中的数据转换-StringFormat
WPF中的数据转换-StringFormat 前言 字符串格式化。使用该功能可以通过设置Binding.StringFormat属性对文本形式的数据进行转换——例如包含日期和数字的字符串。对于至少一半的格式化任务,字符串格式化是一种便捷的技术。 使用 当设置Binding.StringFormat属性…...
java.lang.UnsupportedOperationException解决方法
java.lang.UnsupportedOperationException解决方法 先放错误信息业务场景报错分析先看报错代码位置进入源码查看至此 真相大白 解决方法总结 先放错误信息 业务场景 已知有学生 张三李四王五赵六 等人 private List<String> nameList Arrays.asList("张三", &…...
docker for window更改到非系统盘的使用记录
1、使用Hyper-v模式的docker安装 2、安装docker for windows后安装目录没办法自己选择,固定在c盘 卸载后通过命令行方式设置软连接方式后重新安装来让其安装到软连接的d盘,解决c盘空间问题 mklink /j "C:\Program Files\Docker" "D:\Pr…...
day 38 | ● 518. 零钱兑换 II ● 377. 组合总和 Ⅳ
518. 零钱兑换 II 这道题就是完全背包问题,因为可以选择的数量是无限的。所以第二层的遍历顺序就是从前往后。 因为是次数问题,递推公式是 的,初值应该设定为dp【0】 1,否则无法进行累加。 func change(amount int, coins []i…...
写得了代码,焊得了板!嵌入式开发工程师必修之代码管理方案(中)
目录 2.2 分仓、权限与依赖问题 2.3 基于 Git 进行多仓管理 Git submodule Git subtree Script/CMake Git-Repo Conan 本文来自 武让 极狐GitLab 高级解决方案架构师 🌟 前一篇文章,作者介绍了嵌入式开发场景的代码管理特点与诉求,以及…...
Interlij IDEA 运行 ruoyi 后端项目。错误: 找不到或无法加载主类 com.ruoyi.auth.RuoYiAuthApplication
错误: 找不到或无法加载主类 com.ruoyi.auth.RuoYiAuthApplication 用了 IDEA运行,参考以下issue删除.idea目录也没有用 (官方文档写是用Eclipse运行) 错误: 找不到或无法加载主类 com.ruoyi.auth.RuoYiAuthApplication Issue #I48N2X 若依/RuoYi-C…...
相机设置报错记录
Camera->SetPosition(0.0, -980, 0.0);Camera->SetFocalPoint(0.0, 0.0, 0.0);Camera->SetViewUp(0.0, 1.0, 0.0);上述代码出现错误提示Resetting view-up since view plane normal is parallel,这个时候是viewup方向与投影方向平行了,而出现的…...
Vue3中搜索表单的二次封装
最近使用Vue3ElementPlus开发项目,从整体上构思组件的封装。能写成组件的内容都进行封装,方便多个地方使用。 受AntDesign的启发,在项目中有搜索表单table分页的地方可以封装为一个组件,只需要对组件传入table的列,组成…...
百度23Q2财报最新发布:营收利润加速增长,AI+生态战略渐显规模
百度集团-SW(9888.HK)Q2财报已于2023/08/22(美东)盘前发布,二季度百度集团整体收入实现341亿元,同比增长15%;归属百度的净利润(non-GAAP)达到80亿元,同比增长44%。营收和利润双双实现大幅增长,超市场预期。其中,百度核…...
一个pdf文件分割成两个
# -- coding: utf-8 --** import PyPDF2 # 打开原始PDF文件 # with open(zhongguojinxiandaishi.pdf, rb) as pdf_file: # pdf_reader PyPDF2.PdfReader(pdf_file) # num_pages len(pdf_reader.pages) # # # 确定分割点(例如,将页面一分为二࿰…...
Android 保存图片
这个主要讲的InputStream去保存。 如果需要BItmap与InputStream相互转换可以参考 Android Bitmap、InputStream、Drawable、byte[]、Base64之间的转换关系 保存图片我们需要考虑系统版本,Q前后还是不一样的。 /*** 保存图片* param context 上下文* param inputS…...
东莞自适应网站建设/2022适合小学生的简短新闻摘抄
PPT 制作过程中图片素材至关重要,图片分辨率、图片构图、图片色调等等都关系到的 PPT 最终效果。今天给大家推荐几个我自己常用的图片工具,做成一个合集分享给大家,基本涵盖调色之外的各个处理流程。不仅仅是 PPT 中,很多日常生活…...
购买网站广告位/整站优化的公司
初识10种垃圾收集器 上接:GC(垃圾收集) 10种垃圾收集器作用于不同内存区域以及相互之间的搭配使用。 分代模型分区模型 5.1、Serial 单线程,在进行垃圾收集时必须暂停其他所有的工作线程(“Stop the World”&…...
重庆邮电大学官网网站/点击器 百度网盘
安装文档:http://docs.jumpserver.org/zh/docs/step_by_step.html 1、Jumpserver 是一款由Python编写开源的跳板机(堡垒机)系统,实现了跳板机应有的功能。基于ssh协议来管理,客户端无需安装agent。 特点: 完全开源,GPL…...
谁有做那事的网站/百度网站电话是多少
Codeforces Round #829 (Div. 2) C1. Make Nonzero Sum (easy version) C2. Make Nonzero Sum (hard version) 题意: 对于每个样例,输入一个n,代表数组的长度,这个数组中的元素只有-1,0,1(eas…...
介绍自己做的网站的论文/电商大数据查询平台
三,socket通信1.http://blog.csdn.net/kongxx/article/details/7288896这个人写的关于socket通信不错,循序渐进式的讲解,用代码示例说明,运用流和socket进行远程通讯2.最简单的socket是一个服务端对应一个客户端 server的写法Serv…...
做网站用什么比较好/网络营销大师排行榜
条件查询 字段查询 实现sql中where的功能,调用过滤器filter()、exclude()、get(),下面以filter()为例。 通过"属性名_id"表示外键对应对象的id值。 语法如下: 说明:属性名称和比较运算符间使用两个下划线,所…...