当前位置：首页 > news >正文

笔记【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器

news 2026/2/8 3:37:30

视频教程：【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器
教程资料：https://pan.baidu.com/s/1VhGBcqeywM6jyXJxtytd1w?pwd=6666，提取码：6666
本套教程以Canal的底层原理展开讲解，细致地介绍了Canal的安装部署及常见应用，详细讲解了如何实现MySQL数据的采集，并将数据分别发送至Kafka，同时使用TCP模式深层解析封装的数据，并实现自定义数据格式。
官方文档：Home · alibaba/canal Wiki · GitHub
MySQL如何实时同步数据到ES？试试这款阿里开源的神器！ - 简书
阿里的数据同步神器——Canal_阿里canal_恒哥~Bingo的博客-CSDN博客

P01【01-尚硅谷-大数据采集技术-Canal（课程介绍）】

P02【02-尚硅谷-大数据采集技术-Canal（什么是Canal）】

P03【03-尚硅谷-大数据采集技术-Canal（MySQL Binlog介绍）】

P04【04-尚硅谷-大数据采集技术-Canal（工作原理）】

P05【05-尚硅谷-大数据采集技术-Canal（使用场景）】

P06【06-尚硅谷-大数据采集技术-Canal（MySQL 环境准备）】

P07【07-尚硅谷-大数据采集技术-Canal（下载与安装）】

P08【08-尚硅谷-大数据采集技术-Canal（TCP模式创建项目&Canal封装数据格式分析）】

P09【09-尚硅谷-大数据采集技术-Canal（TCP模式代码编写创建连接&拉取数据）】

P10【10-尚硅谷-大数据采集技术-Canal（TCP模式代码编写解析结果数据并打印）】

P11【11-尚硅谷-大数据采集技术-Canal（TCP模式代码测试）】

P12【12-尚硅谷-大数据采集技术-Canal（Kafka模式配置文件修改）】

P13【13-尚硅谷-大数据采集技术-Canal（Kafka模式案例测试）】

P01【01-尚硅谷-大数据采集技术-Canal（课程介绍）】

canal：实时采集mysql中变化的数据，新增、修改、删除，使用canal实时监控到修改的数据，并将修改的数据写到消息队列供实时计算框架(spark streaming、flink)使用。

前置知识：

Kafka：将采集到的实时数据写入消息队列中，大数据领域最为主流的消息队列kafka。
Zookeeper：kafka的搭建及运行依赖于kafka。
MySQL：canal实时抓取mysql中的写数据变化。
Java：案例代码。
尚硅谷大数据技术之Canal

第1章 Canal入门
第2章 MySql的准备
第3章 Canal的下载和安装
第4章实时监控测试
TCP模式测试
Kafka模式测试

P02【02-尚硅谷-大数据采集技术-Canal（什么是Canal）】

Canal是用Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。canal：采集日志。

Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client来处理获得的相关数据。（数据库同步需要阿里的Otter中间件，基于Canal）。

P03【03-尚硅谷-大数据采集技术-Canal（MySQL Binlog介绍）】

MySQL Binlog的格式有三种，分别是STATEMENT、MIXED、ROW。在配置文件中可以选择配置binlog_format= statement|mixed|row。

P04【04-尚硅谷-大数据采集技术-Canal（工作原理）】

P05【05-尚硅谷-大数据采集技术-Canal（使用场景）】

P06【06-尚硅谷-大数据采集技术-Canal（MySQL 环境准备）】

CREATE TABLE user_info(`id` VARCHAR(255),`name` VARCHAR(255),`sex` VARCHAR(255)
);[root@node1 ~]# mysql -V
mysql  Ver 14.14 Distrib 5.7.29, for Linux (x86_64) using  EditLine wrapper
[root@node1 ~]# cat /etc/redhat-release
CentOS Linux release 7.7.1908 (Core)
[root@node1 ~]# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 5.7.29 MySQL Community Server (GPL)Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| gmall-2021         |
| hive3              |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
6 rows in set (0.00 sec)mysql> use gmall-2021;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -ADatabase changed
mysql> 
mysql> show tables;
+----------------------+
| Tables_in_gmall-2021 |
+----------------------+
| user_info            |
+----------------------+
1 row in set (0.00 sec)mysql> select * from user_info;
+------+------+------+
| id   | name | sex  |
+------+------+------+
| 001  | aaa  | 男   |
| 002  | bbb  | 女   |
+------+------+------+
2 rows in set (0.00 sec)mysql>

ERROR 1193 (HY000): Unknown system variable ‘validate_password_policy‘

CREATE TABLE user_info(`id` VARCHAR(255),`name` VARCHAR(255),`sex` VARCHAR(255)
);
INSERT INTO user_info VALUES('1001','zhangsan','male');SET GLOBAL validate_password_length=4;SHOW VARIABLES LIKE 'validate_password%';ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';INSTALL PLUGIN validate_password SONAME 'validate_password.so';SELECT plugin_name, plugin_status FROM information_schema.plugins WHERE plugin_name LIKE 'validate%';SHOW VARIABLES LIKE 'validate_password%';SET GLOBAL validate_password_policy=0;SET GLOBAL validate_password_length=4;SET GLOBAL validate_password_policy=0;GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

[root@node1 ~]# sudo vim /etc/my.cnf
[root@node1 ~]# sudo systemctl restart mysqld
[root@node1 ~]# cd /var/lib/mysql
[root@node1 mysql]# ll
总用量 188508
-rw-r----- 1 mysql mysql       56 2月  23 11:43 auto.cnf
-rw------- 1 mysql mysql     1680 2月  23 11:43 ca-key.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 ca.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 client-cert.pem
-rw------- 1 mysql mysql     1680 2月  23 11:43 client-key.pem
drwxr-x--- 2 mysql mysql       62 3月   1 16:00 gmall@002d2021
drwxr-x--- 2 mysql mysql     8192 2月  23 22:02 hive3
-rw-r----- 1 mysql mysql      683 3月   1 16:10 ib_buffer_pool
-rw-r----- 1 mysql mysql 79691776 3月   1 16:10 ibdata1
-rw-r----- 1 mysql mysql 50331648 3月   1 16:10 ib_logfile0
-rw-r----- 1 mysql mysql 50331648 2月  23 11:43 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 3月   1 16:10 ibtmp1
drwxr-x--- 2 mysql mysql     4096 2月  23 11:43 mysql
-rw-r----- 1 mysql mysql      154 3月   1 16:10 mysql-bin.000001
-rw-r----- 1 mysql mysql       19 3月   1 16:10 mysql-bin.index
srwxrwxrwx 1 mysql mysql        0 3月   1 16:10 mysql.sock
-rw------- 1 mysql mysql        6 3月   1 16:10 mysql.sock.lock
drwxr-x--- 2 mysql mysql     8192 2月  23 11:43 performance_schema
-rw------- 1 mysql mysql     1676 2月  23 11:43 private_key.pem
-rw-r--r-- 1 mysql mysql      452 2月  23 11:43 public_key.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 server-cert.pem
-rw------- 1 mysql mysql     1680 2月  23 11:43 server-key.pem
drwxr-x--- 2 mysql mysql     8192 2月  23 11:43 sys
[root@node1 mysql]# ll
总用量 188508
-rw-r----- 1 mysql mysql       56 2月  23 11:43 auto.cnf
-rw------- 1 mysql mysql     1680 2月  23 11:43 ca-key.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 ca.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 client-cert.pem
-rw------- 1 mysql mysql     1680 2月  23 11:43 client-key.pem
drwxr-x--- 2 mysql mysql       62 3月   1 16:00 gmall@002d2021
drwxr-x--- 2 mysql mysql     8192 2月  23 22:02 hive3
-rw-r----- 1 mysql mysql      683 3月   1 16:10 ib_buffer_pool
-rw-r----- 1 mysql mysql 79691776 3月   1 16:12 ibdata1
-rw-r----- 1 mysql mysql 50331648 3月   1 16:12 ib_logfile0
-rw-r----- 1 mysql mysql 50331648 2月  23 11:43 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 3月   1 16:12 ibtmp1
drwxr-x--- 2 mysql mysql     4096 2月  23 11:43 mysql
-rw-r----- 1 mysql mysql      452 3月   1 16:12 mysql-bin.000001
-rw-r----- 1 mysql mysql       19 3月   1 16:10 mysql-bin.index
srwxrwxrwx 1 mysql mysql        0 3月   1 16:10 mysql.sock
-rw------- 1 mysql mysql        6 3月   1 16:10 mysql.sock.lock
drwxr-x--- 2 mysql mysql     8192 2月  23 11:43 performance_schema
-rw------- 1 mysql mysql     1676 2月  23 11:43 private_key.pem
-rw-r--r-- 1 mysql mysql      452 2月  23 11:43 public_key.pem
-rw-r--r-- 1 mysql mysql     1112 2月  23 11:43 server-cert.pem
-rw------- 1 mysql mysql     1680 2月  23 11:43 server-key.pem
drwxr-x--- 2 mysql mysql     8192 2月  23 11:43 sys

P07【07-尚硅谷-大数据采集技术-Canal（下载与安装）】

tar -zxvf canal.deployer-1.1.2.tar.gz -C /opt/module/canal

P08【08-尚硅谷-大数据采集技术-Canal（TCP模式创建项目&Canal封装数据格式分析）】

P09【09-尚硅谷-大数据采集技术-Canal（TCP模式代码编写创建连接&拉取数据）】

修改Linux虚拟机的IP地址

package com.atguigu;import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.Message;import java.net.InetSocketAddress;public class CanalClient {public static void main(String[] args) {//TODO 获取连接//1.获取canal连接对象CanalConnector canalConnector =CanalConnectors.newSingleConnector(newInetSocketAddress("test001", 11111), "example", "", "");while (true) {//TODO 连接canalConnector.connect();//TODO 订阅数据库canalConnector.subscribe("gmall-2021.*");//TODO 获取数据Message message = canalConnector.get(100);}}
}

P10【10-尚硅谷-大数据采集技术-Canal（TCP模式代码编写解析结果数据并打印）】

idea快速获取变量名：

.var
ctrl+v

package com.atguigu;import com.alibaba.fastjson.JSONObject;
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;import java.net.InetSocketAddress;
import java.util.List;public class CanalClient {public static void main(String[] args) throws InterruptedException, InvalidProtocolBufferException {//TODO 获取连接//获取canal连接对象CanalConnector canalConnector =CanalConnectors.newSingleConnector(newInetSocketAddress("test001", 11111), "example", "", "");while (true) {//TODO 连接canalConnector.connect();//TODO 订阅数据库canalConnector.subscribe("gmall-2021.*");//TODO 获取数据Message message = canalConnector.get(100);//TODO 获取Entry集合List<CanalEntry.Entry> entries = message.getEntries();//TODO 判断集合是否为空，如果为空，则等待一会儿继续拉取数据if (entries.size() <= 0) {System.out.println("当次抓取没有数据，休息一会儿...");Thread.sleep(1000);} else {//TODO 遍历entries，单条解析for (CanalEntry.Entry entry : entries) {//1.获取表名String tableName = entry.getHeader().getTableName();//2.获取类型CanalEntry.EntryType entryType = entry.getEntryType();//3.获取序列化后的数据ByteString storeValue = entry.getStoreValue();//4.判断当前entryType类型是否为ROWDATAif (CanalEntry.EntryType.ROWDATA.equals(entryType)) {//5.反序列化数据CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);//6.获取当前事件的操作类型CanalEntry.EventType eventType = rowChange.getEventType();//7.获取数据集List<CanalEntry.RowData> rowDataList = rowChange.getRowDatasList();//8.遍历rowDataList，并打印数据集for (CanalEntry.RowData rowData : rowDataList) {JSONObject beforeData = new JSONObject();List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();for (CanalEntry.Column column : beforeColumnsList) {beforeData.put(column.getName(), column.getValue());}JSONObject afterData = new JSONObject();List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();for (CanalEntry.Column column : afterColumnsList) {afterData.put(column.getName(), column.getValue());}//数据打印System.out.println("Table:" + tableName +",EventType:" + eventType +",Before:" + beforeData +",After:" + afterData);}} else {System.out.println("当前操作类型为：" + entryType);}}}}}
}

P11【11-尚硅谷-大数据采集技术-Canal（TCP模式代码测试）】

启动canal服务端

连接成功
Last login: Thu Mar  2 14:43:07 2023 from 192.168.88.1
[root@node1 ~]# cd /opt/module/canal/bin
[root@node1 bin]# cd ../
[root@node1 canal]# ll
总用量 4
drwxr-xr-x 2 root root   76 3月   1 16:43 bin
drwxr-xr-x 5 root root   93 3月   1 16:49 conf
drwxr-xr-x 2 root root 4096 3月   1 16:43 lib
drwxrwxrwx 2 root root    6 11月 26 2018 logs
[root@node1 canal]# bin/startup.sh 
cd to /opt/module/canal/bin for workaround relative path
LOG CONFIGURATION : /opt/module/canal/bin/../conf/logback.xml
canal conf : /opt/module/canal/bin/../conf/canal.properties
CLASSPATH :/opt/module/canal/bin/../conf:/opt/module/canal/bin/../lib/zookeeper-3.4.5.jar:/opt/module/canal/bin/../lib/zkclient-0.10.jar:/opt/module/canal/bin/../lib/spring-tx-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-orm-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-jdbc-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-expression-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-core-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-context-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-beans-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/spring-aop-3.2.18.RELEASE.jar:/opt/module/canal/bin/../lib/snappy-java-1.1.7.1.jar:/opt/module/canal/bin/../lib/slf4j-api-1.7.12.jar:/opt/module/canal/bin/../lib/simpleclient_pushgateway-0.4.0.jar:/opt/module/canal/bin/../lib/simpleclient_httpserver-0.4.0.jar:/opt/module/canal/bin/../lib/simpleclient_hotspot-0.4.0.jar:/opt/module/canal/bin/../lib/simpleclient_common-0.4.0.jar:/opt/module/canal/bin/../lib/simpleclient-0.4.0.jar:/opt/module/canal/bin/../lib/scala-reflect-2.11.12.jar:/opt/module/canal/bin/../lib/scala-logging_2.11-3.8.0.jar:/opt/module/canal/bin/../lib/scala-library-2.11.12.jar:/opt/module/canal/bin/../lib/rocketmq-remoting-4.3.0.jar:/opt/module/canal/bin/../lib/rocketmq-logging-4.3.0.jar:/opt/module/canal/bin/../lib/rocketmq-common-4.3.0.jar:/opt/module/canal/bin/../lib/rocketmq-client-4.3.0.jar:/opt/module/canal/bin/../lib/protobuf-java-3.6.1.jar:/opt/module/canal/bin/../lib/oro-2.0.8.jar:/opt/module/canal/bin/../lib/netty-tcnative-boringssl-static-1.1.33.Fork26.jar:/opt/module/canal/bin/../lib/netty-all-4.1.6.Final.jar:/opt/module/canal/bin/../lib/netty-3.2.2.Final.jar:/opt/module/canal/bin/../lib/mysql-connector-java-5.1.40.jar:/opt/module/canal/bin/../lib/metrics-core-2.2.0.jar:/opt/module/canal/bin/../lib/lz4-java-1.4.1.jar:/opt/module/canal/bin/../lib/logback-core-1.1.3.jar:/opt/module/canal/bin/../lib/logback-classic-1.1.3.jar:/opt/module/canal/bin/../lib/kafka-clients-1.1.1.jar:/opt/module/canal/bin/../lib/kafka_2.11-1.1.1.jar:/opt/module/canal/bin/../lib/jsr305-3.0.2.jar:/opt/module/canal/bin/../lib/jopt-simple-5.0.4.jar:/opt/module/canal/bin/../lib/jctools-core-2.1.2.jar:/opt/module/canal/bin/../lib/jcl-over-slf4j-1.7.12.jar:/opt/module/canal/bin/../lib/jackson-databind-2.9.6.jar:/opt/module/canal/bin/../lib/jackson-core-2.9.6.jar:/opt/module/canal/bin/../lib/jackson-annotations-2.9.0.jar:/opt/module/canal/bin/../lib/ibatis-sqlmap-2.3.4.726.jar:/opt/module/canal/bin/../lib/httpcore-4.4.3.jar:/opt/module/canal/bin/../lib/httpclient-4.5.1.jar:/opt/module/canal/bin/../lib/h2-1.4.196.jar:/opt/module/canal/bin/../lib/guava-18.0.jar:/opt/module/canal/bin/../lib/fastsql-2.0.0_preview_644.jar:/opt/module/canal/bin/../lib/fastjson-1.2.28.jar:/opt/module/canal/bin/../lib/druid-1.1.9.jar:/opt/module/canal/bin/../lib/disruptor-3.4.2.jar:/opt/module/canal/bin/../lib/commons-logging-1.1.3.jar:/opt/module/canal/bin/../lib/commons-lang3-3.4.jar:/opt/module/canal/bin/../lib/commons-lang-2.6.jar:/opt/module/canal/bin/../lib/commons-io-2.4.jar:/opt/module/canal/bin/../lib/commons-compress-1.9.jar:/opt/module/canal/bin/../lib/commons-codec-1.9.jar:/opt/module/canal/bin/../lib/commons-beanutils-1.8.2.jar:/opt/module/canal/bin/../lib/canal.store-1.1.2.jar:/opt/module/canal/bin/../lib/canal.sink-1.1.2.jar:/opt/module/canal/bin/../lib/canal.server-1.1.2.jar:/opt/module/canal/bin/../lib/canal.protocol-1.1.2.jar:/opt/module/canal/bin/../lib/canal.prometheus-1.1.2.jar:/opt/module/canal/bin/../lib/canal.parse.driver-1.1.2.jar:/opt/module/canal/bin/../lib/canal.parse.dbsync-1.1.2.jar:/opt/module/canal/bin/../lib/canal.parse-1.1.2.jar:/opt/module/canal/bin/../lib/canal.meta-1.1.2.jar:/opt/module/canal/bin/../lib/canal.instance.spring-1.1.2.jar:/opt/module/canal/bin/../lib/canal.instance.manager-1.1.2.jar:/opt/module/canal/bin/../lib/canal.instance.core-1.1.2.jar:/opt/module/canal/bin/../lib/canal.filter-1.1.2.jar:/opt/module/canal/bin/../lib/canal.deployer-1.1.2.jar:/opt/module/canal/bin/../lib/canal.common-1.1.2.jar:/opt/module/canal/bin/../lib/aviator-2.2.1.jar:/opt/module/canal/bin/../lib/aopalliance-1.0.jar:/opt/module/canal/bin/../lib/aliware-apache-rocketmq-cloud-1.0.jar:.:/export/server/jdk1.8.0_241/lib/dt.jar:/export/server/jdk1.8.0_241/lib/tools.jar
cd to /opt/module/canal for continue
[root@node1 canal]# jps
44804 Jps
44284 CanalLauncher
[root@node1 canal]#

P12【12-尚硅谷-大数据采集技术-Canal（Kafka模式配置文件修改）】

P13【13-尚硅谷-大数据采集技术-Canal（Kafka模式案例测试）】

kafka依赖zookeeper，启动kafka之前先启动zookeeper。

kafka启动消费者：bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic canal_test

单条sql

多条sql

一个entry可能包含多条数据，操作数据不方便，做数据分析搞单行数据处理，需要将一行数据拆分为两行数据。

笔记【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器

视频教程：【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器教程资料：https://pan.baidu.com/s/1VhGBcqeywM6jyXJxtytd1w?pwd6666，提取码：6666本套教程以Canal的底层原理展开讲解，细致地介绍了Canal的安装部署及常…...

编程日记 2023/3/2 21:05:58

如何重定向命令行日志信息到指定txt文件？

如果你想把命令行的输出重定向到指定的txt文件，你可以使用一些符号来实现。例如，你可以在命令后面加上>或>>符号，然后指定文件名。例如： command > output.txt 这样就会把command的标准输出保存到output.txt文件中&…...

编程日记 2023/3/2 21:04:48

物理机不能访问虚拟机kali的web服务解决方案记录

目录环境问题描述解决方案知识补充效果测试其他思路环境 kali（nat模式），物理机，可互ping 问题描述 kali的web服务器不能在物理机上访问。 1.本机能ping通虚拟机 2.虚拟机也能ping通本机 3.虚拟机能访问自己的web …...

编程日记 2023/3/2 21:03:39

服务器配置 | 在Windows本地显示远程服务器绘图程序

文章目录方法1：在MobaXterm的终端输入指令方法2：在Pycharm中运行前提概要，需要在本地Windows端显示点云的3d可视化界面对于点云的3d可视化一般有两种方法，open3d显示或者是mayavi显示。这两个库都可以使用pip install来实现安装…...

编程日记 2023/3/2 21:02:31

高级信息系统项目管理(高项软考)原创论文——质量管理（2）

<...

编程日记 2023/3/2 21:01:22

从0开始学python -47

Python CGI编程 -2 GET和POST方法浏览器客户端通过两种方法向服务器传递信息，这两种方法就是 GET 方法和 POST 方法。使用GET方法传输数据 GET方法发送编码后的用户信息到服务端，数据信息包含在请求页面的URL上，以"?"号分割…...

编程日记 2023/3/2 21:00:15

【数据结构】八大经典排序总结

文章目录一、排序的概念及其运用1.排序的概念2.常见排序的分类3.排序的运用二、常见排序算法的实现1.直接插入排序1.1排序思想1.2代码实现1.3复杂度及稳定性1.4特性总结2.希尔排序2.1排序思想2.3复杂度及稳定性2.4特性总结3.直接选择排序3.1排序思想3.2代码实现3.3复杂度及稳定…...

编程日记 2023/3/2 20:59:05

BI的能力边界：能解决的企业问题和不擅长的领域

数字化转型本就需要借助信息化相关技术、思想来完成，所以说信息化建设同样是数字化转型过程中非常重要的一环，而这就是商业智能BI和数字化转型的关系 BI 能解决的企业问题数据是企业的重要资产，也是企业商业智能BI的核心要求。通常&#x…...

编程日记 2023/3/2 20:57:59

金三银四面试必备，“全新”突击真题宝典，阿里腾讯字节都稳了

前言招聘旺季就到了，不知道大家是否准备好了，面对金三银四的招聘旺季，如果没有精心准备那笔者认为那是对自己不负责任；就我们Java程序员来说，多数的公司总体上面试都是以自我介绍项目介绍项目细节/难点提问基础知识点考…...

编程日记 2023/3/2 20:56:53

MYSQL 基础篇 | 02-MYSQL基础应用

文章目录1 MySQL概述2 SQL2.1 SQL通用语法2.2 SQL分类2.3 DDL2.3.1 数据库操作2.3.2 表操作2.4 DML2.4.1 添加数据2.4.2 修改数据2.4.3 删除数据2.5 DQL2.5.1 基础查询2.5.2 条件查询2.5.3 聚合查询2.5.4 分组查询2.5.5 排序查询2.5.6 分页查询2.5.7 综合练习2.6 DCL2.6.1 管理…...

编程日记 2023/3/2 20:55:44

CSS实现checkbox选中动画

前言 👏CSS实现checkbox选中动画，速速来Get吧~ 🥇文末分享源代码。记得点赞关注收藏！ 1.实现效果 2.实现步骤定义css变量，–checked，表示激活选中色值 :root {--checked: orange; }创建父容器&#xf…...

编程日记 2023/3/2 20:54:38

工业机器人编程调试怎么学

很多人觉得工业机器人很难学学，实际上机器人涉及的知识远比PLC要少。现简单说明一下初学者学习工业机器人编程调试的流程，以AUBO机器人为例： 首先我们需要知道工业机器人的调试学起来不难，远比编程更简单，示教器上的编…...

编程日记 2023/3/2 20:53:35

Java并发包提供了哪些并发工具类？

第19讲 | Java并发包提供了哪些并发工具类？ 通过前面的学习，我们一起回顾了线程、锁等各种并发编程的基本元素，也逐步涉及了 Java 并发包中的部分内容，相信经过前面的热身，我们能够更快地理解 Java 并发包。今天我要…...

编程日记 2023/3/2 20:52:29

systemctl 启动/停止/重新加载 nginx

systemctl 启动/停止/重新加载 nginx 一、新建nginx.service脚本 sudo vim /usr/lib/systemd/system/nginx.service然后按iii进入编辑模式，粘贴如下内容，其中/usr/local/nginx/是进行make && make install之后的文件夹路径，需要根据…...

编程日记 2023/3/2 20:51:26

SSRF学习 3

目录 <1> 什么是SSRF？ <2> 通常SSRF会发生在哪些位置？ <3> 测试流程 <4> Weblogic-ssrf 复现 (1) 漏洞存在点 (2) 注入HTTP头，利用Redis反弹shell (3) 修复方案 <1> 什么是SSRF？ SSRF(Serv…...

编程日记 2023/3/2 20:50:19

Mysql(数据库基础篇)

👌 棒棒有言：也许我一直照着别人的方向飞，可是这次，我想要用我的方式飞翔一次！人生，既要淡，又要有味。凡事不必太在意，一切随缘，缘深多聚聚，缘浅随它去。凡事…...

编程日记 2023/3/2 20:49:16

一种全新的图像变换理论的实验（五）——研究目的替代DCT和小波

一、前言目前在大量的灰度图像测试下，基本确定变换系数ratio取值0-25之间时，逆变化后的图还能基本保障效果，而且越接近0效果越好。本文还是以lenna.bmp灰度图为例，实验不再逆变换，而是把变换后的数据直接输出为bmp的…...

编程日记 2023/3/2 20:48:13

vue3、vite、pinia 快速入门

准备开发工具及插件IDE:vscode,WebStorm插件：Auto Close Tag、Auto Rename Tag、Live Server通过“！”快速生成html模板正式学习安装vue通过CDN的方式导入vue<script src"" target"_blank">https://unpkg.com/vue3/dist/vue.…...

编程日记 2023/3/2 20:47:06

第六章 effect.scheduler功能实现

effect.scheduler功能实现主要先了解scheduler需要实现什么样的需求，有一下四点： 1 通过 effect 的第二个参数给定一个 scheduler 的 fn 2 effect 第一次执行的时候还会执行 fn 3 当响应式对象 set update 不执行fn 而是执行 scheduler 4 如果说…...

编程日记 2023/3/2 20:46:02

软件测试之zentao

禅道 1. 禅道介绍 1.1 禅道项目管理软件是做什么的？ 禅道，国产开源项目管理软件。它集产品管理、项目管理、质量管理、文档管理、组织管理和事务管理于一体，是一款专业的研发项目管理软件，完整覆盖了研发项目管理的核心流程。禅…...

编程日记 2023/3/2 20:44:53

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令范围操作示例指定行范围处理复合命令示例实用技…...

编程新知 2025/11/16 8:24:16

.Net框架，除了EF还有很多很多......

文章目录 1. 引言2. Dapper2.1 概述与设计原理2.2 核心功能与代码示例基本查询多映射查询存储过程调用 2.3 性能优化原理2.4 适用场景 3. NHibernate3.1 概述与架构设计3.2 映射配置示例Fluent映射XML映射 3.3 查询示例HQL查询Criteria APILINQ提供程序 3.4 高级特性3.5 适用场…...

编程新知 2026/2/1 19:26:16

Go 语言接口详解

Go 语言接口详解核心概念接口定义在 Go 语言中，接口是一种抽象类型，它定义了一组方法的集合： // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的： // 矩形结构体…...

编程新知 2026/1/4 5:19:25

微信小程序云开发平台MySQL的连接方式

注：微信小程序云开发平台指的是腾讯云开发先给结论：微信小程序云开发平台的MySQL，无法通过获取数据库连接信息的方式进行连接，连接只能通过云开发的SDK连接，具体要参考官方文档： 为什么？ 因为…...

编程新知 2026/2/1 5:24:17

Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决

Spring Cloud Gateway 中自定义验证码接口返回 404 的排查与解决问题背景在一个基于 Spring Cloud Gateway WebFlux 构建的微服务项目中，新增了一个本地验证码接口 /code，使用函数式路由（RouterFunction）和 Hutool 的 Circle…...

编程新知 2026/1/31 6:38:50

Java 二维码

Java 二维码 **技术：**谷歌 ZXing 实现首先添加依赖 <dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...

编程新知 2025/9/6 16:22:45

云原生玩法三问：构建自定义开发环境

云原生玩法三问：构建自定义开发环境引言临时运维一个古董项目，无文档，无环境，无交接人，俗称三无。运行设备的环境老，本地环境版本高，ssh不过去。正好最近对腾讯出品的云原生 cnb 感兴趣&…...

编程新知 2026/2/2 9:25:26

Java求职者面试指南：计算机基础与源码原理深度解析

Java求职者面试指南：计算机基础与源码原理深度解析第一轮提问：基础概念问题 1. 请解释什么是进程和线程的区别？ 面试官：进程是程序的一次执行过程，是系统进行资源分配和调度的基本单位；而线程是进程中的…...

编程新知 2025/12/9 14:22:07

Go语言多线程问题

打印零与奇偶数（leetcode 1116） 方法1：使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/9/23 8:19:28

comfyui 工作流中图生视频如何增加视频的长度到5秒

comfyUI 工作流怎么可以生成更长的视频。除了硬件显存要求之外还有别的方法吗？ 在ComfyUI中实现图生视频并延长到5秒，需要结合多个扩展和技巧。以下是完整解决方案： 核心工作流配置（24fps下5秒120帧） #mermaid-svg-yP…...

编程新知 2025/11/4 17:30:04

P01【01-尚硅谷-大数据采集技术-Canal（课程介绍）】

P02【02-尚硅谷-大数据采集技术-Canal（什么是Canal）】

P03【03-尚硅谷-大数据采集技术-Canal（MySQL Binlog介绍）】

P04【04-尚硅谷-大数据采集技术-Canal（工作原理）】

P05【05-尚硅谷-大数据采集技术-Canal（使用场景）】

P06【06-尚硅谷-大数据采集技术-Canal（MySQL 环境准备）】

P07【07-尚硅谷-大数据采集技术-Canal（下载与安装）】

P08【08-尚硅谷-大数据采集技术-Canal（TCP模式 创建项目&Canal封装数据格式分析）】

P09【09-尚硅谷-大数据采集技术-Canal（TCP模式 代码编写 创建连接&拉取数据）】

P10【10-尚硅谷-大数据采集技术-Canal（TCP模式 代码编写 解析结果数据并打印）】

P11【11-尚硅谷-大数据采集技术-Canal（TCP模式 代码测试）】

P12【12-尚硅谷-大数据采集技术-Canal（Kafka模式 配置文件修改）】

P13【13-尚硅谷-大数据采集技术-Canal（Kafka模式 案例测试）】

相关文章：

P08【08-尚硅谷-大数据采集技术-Canal（TCP模式创建项目&Canal封装数据格式分析）】

P09【09-尚硅谷-大数据采集技术-Canal（TCP模式代码编写创建连接&拉取数据）】

P10【10-尚硅谷-大数据采集技术-Canal（TCP模式代码编写解析结果数据并打印）】

P11【11-尚硅谷-大数据采集技术-Canal（TCP模式代码测试）】

P12【12-尚硅谷-大数据采集技术-Canal（Kafka模式配置文件修改）】

P13【13-尚硅谷-大数据采集技术-Canal（Kafka模式案例测试）】