当前位置: 首页 > news >正文

Linux系统中编写bash脚本进行mysql的数据同步

一、为何要用脚本做数据同步

(一)、问题

        我们的视频监控平台云服务器,需要向上级的服务器定期同步一些数据表的数据,前期做了个程序,可以实现同步。但是,现在数据库的结构改了,结果又需要该程序,原来的开发人员已经做其他工作了,因此造成了很大的麻烦。

        考虑到用数据库同步工具,但是,要进行各种配置。而这些数据基本上每周就要同步一次,若采用一些工具的话,都要人工操作,也会造成一些错误。

(二)、脚本的好处

       经过仔细的考察,觉得在Linux中使用脚本进行数据同步具有一些好处:

  1. 自动化:脚本可以在预定时间自动执行数据同步任务,无需人工干预。这样可以节省时间,并确保数据始终保持同步。
  2. 可重复性:脚本可以重复执行相同的操作,而不会出现人为错误。这对于定期进行的数据同步非常有用。
  3. 灵活性:脚本可以根据需要进行定制和修改,以满足特定的数据同步需求。通过调整脚本,可以轻松地处理不同的数据源和目标。
  4. 可靠性:脚本可以捕获并记录执行过程中的错误和异常,以便进行故障排除和问题解决。这有助于提高数据同步的可靠性和稳定性。
  5. 高效性:使用脚本进行数据同步可以大大提高工作效率。通过批量处理数据,可以更快地完成数据同步任务,减少等待时间。
  6. 安全性:脚本可以提供对数据的访问控制和加密功能,以确保数据在同步过程中的安全传输和存储。

因此,决定采用navicat的命令行工具为主,编写bash脚本,实现数据库的同步

二、navicat及安装

(一)、navicat介绍

        Navicat是一款强大的数据库管理工具,支持多种数据库系统,包括MySQL、Oracle、PostgreSQL、SQLite、SQL Server等。以下是关于Navicat的详细介绍:

(1)连接和管理多种数据库:Navicat可以方便地连接本地的或者远程的数据库,并提供一套完善的数据库管理功能,如数据导入/导出、数据同步、数据备份和还原等。

(2)可视化数据库结构:Navicat能够直观地显示数据库的结构,用户可以通过图形化的方式对数据库进行设计和操作。

(3)高效的数据查询和管理:Navicat提供强大的数据查询和管理功能,用户可以快速地查询、编辑和删除数据,以及执行复杂的SQL查询语句。

(4)安全性:Navicat支持SSL加密连接,可以保证数据传输的安全性。同时,它也支持用户权限管理,可以根据不同用户的角色和权限来限制对数据库的访问。

(5)可定制性:Navicat提供了丰富的定制选项,用户可以根据自己的需要调整界面的颜色、字体和布局等。

(6)多平台支持:Navicat支持多种操作系统,包括Windows、Mac OS和Linux等。

(7)高度兼容性:Navicat与各种数据库版本兼容,包括旧版本和新版本。

(8)丰富的文档支持:Navicat提供了详细的文档和教程,帮助用户更好地理解和使用该工具。

(9)强大的技术支持:Navicat提供了专业的技术支持,用户可以通过官方网站、论坛和邮件等方式获得帮助。

        Navicat是一款功能强大、易于使用的数据库管理工具,适用于各种规模的企业和开发者。无论您是要管理个人的小型数据库还是大型企业的数据库,Navicat都能够提供全面的解决方案。

(二)、navicat的安装及启动

        下面以centos为例,来阐述navicat的安装和运行

1、安装步骤

        步骤1:打开终端或SSH连接到CentOS服务器。

        步骤2:确保您的系统已安装了EPEL(Extra Packages for Enterprise Linux)仓库。如果没有安装,请运行以下命令进行安装:

[root@localhost ~]#sudo yum install epel-release

        步骤3:安装Navicat。在CentOS中,您可以使用YUM命令来安装Navicat。运行以下命令进行安装:

[root@localhost ~]#sudo yum install navicat

        步骤4:等待安装完成。安装过程可能需要一些时间,具体时间取决于您的服务器性能和网络速度。

2、启动

安装完成后,您可以通过几种方式运行navicat:

(1)运行Navicat命令来启动Navicat:

[root@localhost ~]# Navicat

(2)通过web浏览器来使用

        Navicat将启动并在您的默认Web浏览器中打开。您可以使用Navicat的管理界面来连接和管理数据库。

(3)命令行工具来使用navicat

      这里就不累述了。

三、编写bash脚本实现数据同步

        使用Navicat提供的命令行工具Navicat Command Line,通过编写脚本文件来执行数据同步的命令。Navicat Command Line提供了丰富的命令和选项,可以满足各种数据同步的需求。

        以下做了个简单的数据同步脚本,用于在Linux centos系统上使用Navicat Command Line进行数据同步:

#!/bin/bash  # 源数据库信息  
source_host="本地DB的主机名"  
source_port="本地端口"  
source_username="本地DB的用户名"  
source_password="本地用户密码"  
source_database="本地DB"  # 目标数据库信息  
target_host="目标DB的主机名"  
target_port="目标端口"  
target_username="目标的用户名"  
target_password="目标用户密码"  
target_database="目标DB"  # 同步选项  
options="-server=MySQL -method=备库同步 -type=full -source=$source_database -target=$target_database -user=$source_username -password=$source_password -host=$source_host -port=$source_port -to=$target_host -toPort=$target_port -toUser=$target_username -toPassword=$target_password"  # 执行数据同步命令  
/path/to/navicat-commandline $options

        若数据库结果发生了变化,比如,在数据库的 TestTable表中增加了一个 addStr1 ,128位,字符串格式,也可以进行数据库同步,脚本可以写成如下:

#!/bin/bash  # 源数据库信息  
source_host="本地DB的主机名"  
source_port="本地端口"  
source_username="本地DB的用户名"  
source_password="本地用户密码"  
source_database="本地DB"  # 目标数据库信息  
target_host="目标DB的主机名"  
target_port="目标端口"  
target_username="目标的用户名"  
target_password="目标用户密码"  
target_database="目标DB"  # 同步选项  
options="-server=MySQL -method=备库同步 -type=full -source=$source_database -target=$target_database -user=$source_username -password=$source_password -host=$source_host -port=$source_port -to=$target_host -toPort=$target_port -toUser=$target_username -toPassword=$target_password -columnAddStr1='128' -columnAddStr1Type='string'"  # 执行数据同步命令  
/path/to/navicat-commandline $options

根据自己的需要,可以写成周期运行的任务,可以做一些适应性的改动。

相关文章:

Linux系统中编写bash脚本进行mysql的数据同步

一、为何要用脚本做数据同步 (一)、问题 我们的视频监控平台云服务器,需要向上级的服务器定期同步一些数据表的数据,前期做了个程序,可以实现同步。但是,现在数据库的结构改了,结果又需要该程序…...

光耦驱动继电器电路图大全

光耦驱动继电器电路图(一) 注: 1U1-1脚可接12V,也可接5V,1U1导通,1Q1导通,1Q1-30V,线圈两端电压为11.7V. 1U1-1脚不接或接地,1U1不通,1Q1截止,1…...

【AI量化分析】小明在量化中使用交叉验证原理深度分析解读

进行交叉验证好处 提高模型的泛化能力:通过将数据集分成多个部分并使用其中的一部分数据进行模型训练,然后使用另一部分数据对模型进行测试,可以确保模型在未见过的数据上表现良好。这样可以降低模型过拟合或欠拟合的风险,提高模…...

2024最新版Visual Studio Code安装使用指南

2024最新版Visual Studio Code安装使用指南 Installation and Usage Guide for the Latest Visual Studio Code in 2024 By JacksonML Visual Studio Code最新版1.85已经于2023年11月由其官网 https://code.visualstudio.com正式发布,这是微软公司2024年发行的的最…...

接口请求重试八种方法

请求三方接口需要加入重试机制 一、循环重试 在请求接口的代码块中加入循环&#xff0c;如果请求失败则继续请求&#xff0c;直到请求成功或达到最大重试次数。 int retryTimes 3; for(int i 0;i < retryTimes;i){try{//请求接口的代码break;}catch(Exception e){//处理…...

【Linux 基础】常用基础指令(上)

文章目录 一、 创建新用户并设置密码二、ls指令ls指令基本概念ls指令的简写操作 三、pwd指令四、cd指令五、touch指令六、rm指令七、mkdir指令八、rmdir 指令 一、 创建新用户并设置密码 ls /home —— 查看存在多少用户 whoami —— 查看当前用户名 adduser 用户名 —— 创建新…...

【RT-DETR有效改进】EfficientFormerV2移动设备优化的视觉网络(附对比试验效果图)

前言 大家好&#xff0c;我是Snu77&#xff0c;这里是RT-DETR有效涨点专栏。 本专栏的内容为根据ultralytics版本的RT-DETR进行改进&#xff0c;内容持续更新&#xff0c;每周更新文章数量3-10篇。 专栏以ResNet18、ResNet50为基础修改版本&#xff0c;同时修改内容也支持Re…...

《动手学深度学习(PyTorch版)》笔记4.4

注&#xff1a;书中对代码的讲解并不详细&#xff0c;本文对很多细节做了详细注释。另外&#xff0c;书上的源代码是在Jupyter Notebook上运行的&#xff0c;较为分散&#xff0c;本文将代码集中起来&#xff0c;并加以完善&#xff0c;全部用vscode在python 3.9.18下测试通过。…...

Linux/Academy

Enumeration nmap 首先扫描目标端口对外开放情况 nmap -p- 10.10.10.215 -T4 发现对外开放了22,80,33060三个端口&#xff0c;端口详细信息如下 结果显示80端口运行着http&#xff0c;且给出了域名academy.htb&#xff0c;现将ip与域名写到/et/hosts中&#xff0c;然后从ht…...

windows .vscode的json文件配置 CMake 构建项目 调试窗口中文设置等

一、CMake 和 mingw64的安装和环境配置 二、tasks.json和launch.json文件配置 tasks.json {"version": "2.0.0","options": {"cwd": "${workspaceFolder}/build"},"tasks": [{"type": "shell&q…...

uniapp canvas做的刮刮乐解决蒙层能自定义图片

最近给湖南中烟做元春活动&#xff0c;一个月要开发4个小活动&#xff0c;这个是其中一个难度一般&#xff0c;最难的是一个类似鲤鱼跃龙门的小游戏&#xff0c;哎&#xff0c;真实为难我这个“拍黄片”的。下面是主要代码。 <canvas :style"{width:widthpx,height:hei…...

利用SPI,结合数据库连接池durid进行数据服务架构灵活设计

接着上一篇文章业务开始围绕原始凭证展开,而展开的基础无疑是围绕着科目展开的。首先我们业务层面以财政部的小企业会计准则的一级科目引入软件中。下面我们来考虑如何将科目切入软件更加灵活,方便业务扩展、维护与升级。 SPI是首先想到的数据服务方式 为什么会想到它呢?首…...

自动驾驶的决策层逻辑

作者 / 阿宝 编辑 / 阿宝 出品 / 阿宝1990 自动驾驶意味着决策责任方的转移 我国2020至2025年将会是向高级自动驾驶跨越的关键5年。自动驾驶等级提高意味着对驾驶员参与度的需求降低&#xff0c;以L3级别为界&#xff0c;低级别自动驾驶环境监测主体和决策责任方仍保留于驾驶…...

排序算法——希尔排序算法详解

希尔排序算法详解 一. 引言1. 背景介绍1.1 数据排序的重要性1.2 希尔排序的由来 2. 排序算法的分类2.1 比较排序和非比较排序2.2 希尔排序的类型 二. 希尔排序基本概念1. 希尔排序的定义1.1 缩小增量排序1.2 插入排序的变种 2. 希尔排序的工作原理2.1 分组2.2 插入排序2.3 逐步…...

Docker 容器内运行 mysqldump 命令来导出 MySQL 数据库,自动化备份

备份容器数据库命令&#xff1a; docker exec 容器名称或ID mysqldump -u用户名 -p密码 数据库名称 > 导出文件.sql请替换以下占位符&#xff1a; 容器名称或ID&#xff1a;您的 MySQL 容器的名称或ID。用户名&#xff1a;您的 MySQL 用户名。密码&#xff1a;您的 MySQL …...

【Java万花筒】数字信号魔法:Java库的魅力解析

从傅立叶到矩阵&#xff1a;数字信号Java库全景剖析 前言 随着数字信号处理在科学、工程和数据分析领域的广泛应用&#xff0c;开发者对高效、灵活的工具的需求日益增长。本文旨在探讨几个与数字信号处理相关的Java库&#xff0c;通过介绍其特点、用途以及与已有库的关系&…...

面试高频知识点:2线程 2.1 线程池 2.1.2 JDK中常见的线程池实现有哪些?

1. Executors类 Executors类是线程池的工厂类&#xff0c;提供了一些静态方法用于创建不同类型的线程池。然而&#xff0c;它的使用并不推荐在生产环境中&#xff0c;因为它存在一些缺点&#xff0c;比如默认使用无界的任务队列&#xff0c;可能导致内存溢出。 2. ThreadPool…...

Azure Private endpoint DNS 记录是如何解析的

Private endpoint 从本质上来说是Azure 服务在Azure 虚拟网络中安插的一张带私有地址的网卡。 举例来说如果Storage account在没有绑定private endpoint之前&#xff0c;查询Storage account的DNS记录会是如下情况&#xff1a; Seq Name …...

windows 安装sql server 华为云文档

先安装net3.5,剩下安装sqlserver步骤看下面文档 安装SQL Server_弹性云服务器 ECS_最佳实践_搭建Microsoft SharePoint Server 2016_华为云 (huaweicloud.com)...

相同主题文章竟同时发表在同一个2区期刊 | 孟德尔随机化周报(1.10-1.16)

欢迎报名2024年郑老师团队课程课程&#xff01; 郑老师科研统计培训&#xff0c;包括临床数据、公共数据分析课程&#xff0c;欢迎报名 孟德尔随机化,Mendilian Randomization&#xff0c;简写为MR&#xff0c;是一种在流行病学领域应用广泛的一种实验设计方法&#xff0c;利用…...

网络安全的使命:守护数字世界的稳定和信任

在数字化时代&#xff0c;网络安全的角色不仅仅是技术系统的守护者&#xff0c;更是数字社会的信任保卫者。网络安全的使命是保护、维护和巩固数字世界的稳定性、可靠性以及人们对互联网的信任。本文将深入探讨网络安全是如何履行这一使命的。 第一部分&#xff1a;信息资产的…...

【七、centos要停止维护了,我选择Almalinux】

搜索镜像 https://developer.aliyun.com/mirror/?serviceTypemirror&tag%E7%B3%BB%E7%BB%9F&keywordalmalinux dvd是有界面操作的&#xff0c;minimal是最小化只有命里行 镜像下载地址 安装和centos基本一样的&#xff0c;操作命令也是一样的&#xff0c;有需要我…...

架构师之路(十六)计算机网络(传输层)

前置知识&#xff08;了解&#xff09;&#xff1a;计算机基础。 作为架构师&#xff0c;我们所设计的系统很少为单机系统&#xff0c;因此有必要了解计算机和计算机之间是怎么联系的。局域网的集群和混合云的网络有啥区别。系统交互的时候网络会存在什么瓶颈。 既然网络层已经…...

python 调用SumatraPDF 静默打印PDF

SumatraPDF 文档 https://www.sumatrapdfreader.org/docs/Command-line-arguments ⽆边框 noscale/缩⼩到合适⼤⼩&#xff08;默认&#xff09;shrink/合适⼤⼩ fit/compat 兼容 # 分为 Portrait (纵向)和 Landscape (横向)两类 https://github.com/sumatrapdfreader/sumatrap…...

nginx部署https域名ssl证书

1、在你服务器nginx文件夹下创建ssl文件夹存放证书文件和秘钥文件 把.crt和.key证书放上 2、在nginx.conf文件中配置 在nginx.conf文件中server下加入listen 443 ssl; server {listen 443 ssl;charset utf-8;index index.html index.htm index.jsp index.do;add_heade…...

Python学习之路-Django基础:HelloDjango

Python学习之路-Django基础:HelloDjango 简介 Django&#xff0c;发音为[dʒŋɡəʊ]&#xff0c;是用python语言写的开源web开发框架&#xff0c;并遵循MVC设计。劳伦斯出版集团为了开发以新闻内容为主的网站&#xff0c;而开发出来了这个框架&#xff0c;于2005年7月在BSD…...

完成NAT实验

实验要求&#xff1a; 步骤一&#xff1a;配置vlan vlan b 2 3 interface GigabitEthernet 0/0/2 port link-type access port default vlan 2 interface GigabitEthernet 0/0/3 port link-type access port default vlan 3 interface GigabitEthernet 0/0/1 port link-type…...

uniapp 用web-view嵌套网页地址并传参

小程序登陆后把token和openId 对应传到pc端 pc端有两套一套pc端代码和适应移动端的代码 嵌套的是适应移动端的代码 1.uniapp <template><view class"main"><u-navbar :fixed"true" :autoBack"false" leftClick"goBack&quo…...

时序数据库Tdengine 批量插入避免因为主键ts时间重复导致数据被覆盖掉

目录 在Mybatis中使用 在数据库管理工具中使用 now100a 使用now() #{index}a 其中那这个 #{index}是<foreach>标签里的循环出来的index 在Mybatis中使用 <insert id"batchInsert" parameterType"java.util.List">insert into uri(id…...

【小白教程】幻兽帕鲁服务器一键搭建 | 支持更新 | 自定义配置

幻兽帕鲁刚上线就百万在线人数&#xff0c;官方服务器的又经常不稳定&#xff0c;所以这里给大家带来最快捷的搭建教程&#xff0c;废话不多说直接开始。 步骤一&#xff1a;准备服务器 服务器建议 Linux 系统&#xff0c;资源占用低&#xff0c;而且一键脚本只需要一条命令&am…...