当前位置：首页 > news >正文

11.Maxwell 部署

news 文章来源：https://blog.csdn.net/qq_40608132/article/details/129385234 2025/1/15 20:00:32

Maxwell 部署

一、环境准备

1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件；

（1）启动zookeeper:

/usr/app/zookeeper3.4/bin/zkServer.sh start

（2）启动三台主题的kafka

启动：bin/kafka-server-start.sh -daemon config/server.properties
停止：/usr/app/kafka/bin/kafka-server-stop.sh

2、在如下地址下载Maxwell软件：

https://github.com/zendesk/maxwell/releases/tag/v1.29.1

3、解压文件并改名

解压文件：

tar -zxvf /opt/software/maxwell-1.29.1.tar.gz -C /usr/app/

修改目录：

mv maxwell-1.29.1/ maxwell-1.29

修改/et/profile环境变量，并source /etc/profile：

export MAXWELL_HOME=/usr/app/maxwell1.29.1
export PATH=$PATH:$MAXWELL_HOME/bin

二、MySQL准备

1、修改MySQL的配置文件/etc/my.cnf，开启MySQL的binlog设置

# Maxwell 日志采集的配置
server_id=1
# 设置生成的二进制文件的前缀
log-bin=mysql-bin
# 设置binlog的二进制文件的日志级别 行级模式
binlog_format=row# binlog的执行的库 如果不加这个参数那么mysql会对所有的库都生成对应的binlog 即对所有的库进行binlog监控
#（这里我们使用test库测试）
# 设置只监控某个或某些数据库，多个数据就设置多行,test代表库名
binlog-do-db=test

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lAFgmmvf-1678177926369)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps13.jpg)]$

2、重启MySQL服务

systemctl  restart  mysqld

3、登录MySQL并查看是否修改成功

mysql  –uroot  -pshow variables like '%binlog%'

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ykn4ifZZ-1678177926370)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103128494.png)]$

4、进入 /var/lib/mysql 目录，查看MySQL生成的binlog文件

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H9owQYfN-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps15.jpg)]$

三、初始化Maxwell元数据库

1、在MySQL中建立一个 maxwell 库用于存储 maxwell 元数据。表会自动创建。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AlWztPC4-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103255532.png)]$

四、使用命令行参数启动Maxwell进程

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

参数解读：

--user 连接 mysql 的用户--password 连接 mysql 的用户的密码--host mysql 安装的主机名--producer 生产者模式(stdout：控制台 kafka：kafka 集群)

五、实操练习

5.1、监控MySQL数据并在控制台打印

1、运行maxwell监控MySQL数据增加、删除、更新

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

2、向 mysql 的 test 库的 test_maxwell 表插入一条数据，查看 maxwell 的控制台输出

2.1 首先创建表，可以看出，打印出了我们在test库下新建了一个表

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J82foazu-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103604013.png)]$

2.2 插入一条数据，如图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBJtNjmH-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103802532.png)]$

3、修改 test库的test_maxwell 表的一条数据，查看 maxwell 的控制台输出

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NyFeHB4b-1678177926373)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103844071.png)]$

3、删除test库的 test_maxwell 表的一条数据，查看 maxwell 的控制台输出

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xi2khIMK-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103912231.png)]$

总结：

type 代表操作类型

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DLF8LbPR-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103940265.png)]$

利用CTL+C退出监控界面

5.2、监控 MySQL 数据输出到 kafka

在安装我们maxwell的主机上：

1、启动zookeeper集群和kafka集群

（已启动）

2、启动 Maxwell 监控 binlog

bin/maxwell --user='root' --password='123456' --host='hp1' \
--producer=kafka --kafka.bootstrap.servers=hp1:9092 --kafka_topic=hunter

3、打开 kafka 的控制台的消费者消费 hunter 主题

在kafka集群中另选一台：

bin/kafka-console-consumer.sh --bootstrap-server hp1:9092 --topic hunter

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4HTGrSfa-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104528376.png)]$

4.在test库的 test_maxwell 表中增加、修改、删除记录

增加：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YBxyqceB-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104733401.png)]$

修改：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c0MTOHXM-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104652747.png)]$

删除：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3t0jpskD-1678177926376)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104713390.png)]$

test库的 test_maxwell 表中增加、修改、删除记录

增加：

在这里插入图片描述

修改：

在这里插入图片描述

删除：

在这里插入图片描述

Maxwell 部署

一、环境准备

1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件；

2、在如下地址下载Maxwell软件：

3、解压文件并改名

二、MySQL准备

1、修改MySQL的配置文件/etc/my.cnf，开启MySQL的binlog设置

2、重启MySQL服务

3、登录MySQL并查看是否修改成功

4、进入 /var/lib/mysql 目录，查看MySQL生成的binlog文件

三、初始化Maxwell元数据库

1、在MySQL中建立一个 maxwell 库用于存储 maxwell 元数据。表会自动创建。

四、使用命令行参数启动Maxwell进程

五、实操练习

5.1、监控MySQL数据并在控制台打印

5.2、监控 MySQL 数据输出到 kafka

相关文章：