当前位置: 首页 > news >正文

11.Maxwell 部署

Maxwell 部署

一、环境准备

1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件;

(1)启动zookeeper:

/usr/app/zookeeper3.4/bin/zkServer.sh start

(2)启动三台主题的kafka

启动:bin/kafka-server-start.sh -daemon config/server.properties
停止:/usr/app/kafka/bin/kafka-server-stop.sh

2、在如下地址下载Maxwell软件:

https://github.com/zendesk/maxwell/releases/tag/v1.29.1

3、解压文件并改名

解压文件:

tar -zxvf /opt/software/maxwell-1.29.1.tar.gz -C /usr/app/

修改目录:

mv maxwell-1.29.1/ maxwell-1.29

修改/et/profile环境变量,并source /etc/profile:

export MAXWELL_HOME=/usr/app/maxwell1.29.1
export PATH=$PATH:$MAXWELL_HOME/bin

二、MySQL准备

1、修改MySQL的配置文件/etc/my.cnf,开启MySQL的binlog设置

# Maxwell 日志采集的配置
server_id=1
# 设置生成的二进制文件的前缀
log-bin=mysql-bin
# 设置binlog的二进制文件的日志级别 行级模式
binlog_format=row# binlog的执行的库 如果不加这个参数那么mysql会对所有的库都生成对应的binlog 即对所有的库进行binlog监控
#(这里我们使用test库测试)
# 设置只监控某个或某些数据库,多个数据就设置多行,test代表库名
binlog-do-db=test

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lAFgmmvf-1678177926369)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps13.jpg)]

2、重启MySQL服务

systemctl  restart  mysqld

3、登录MySQL并查看是否修改成功

mysql  –uroot  -pshow variables like '%binlog%'

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ykn4ifZZ-1678177926370)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103128494.png)]

4、进入 /var/lib/mysql 目录,查看MySQL生成的binlog文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H9owQYfN-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps15.jpg)]

三、初始化Maxwell元数据库

1、在MySQL中建立一个 maxwell 库用于存储 maxwell 元数据。表会自动创建。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AlWztPC4-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103255532.png)]

四、使用命令行参数启动Maxwell进程

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

参数解读:

--user 连接 mysql 的用户--password 连接 mysql 的用户的密码--host mysql 安装的主机名--producer 生产者模式(stdout:控制台 kafka:kafka 集群)

五、实操练习

5.1、监控MySQL数据并在控制台打印

1、运行maxwell监控MySQL数据增加、删除、更新

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

2、向 mysql 的 test 库的 test_maxwell 表插入一条数据,查看 maxwell 的控制台输出

2.1 首先创建 表,可以看出,打印出了我们在test库下新建了一个表

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J82foazu-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103604013.png)]

2.2 插入一条数据,如图:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBJtNjmH-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103802532.png)]

3、修改 test库的test_maxwell 表的一条数据,查看 maxwell 的控制台输出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NyFeHB4b-1678177926373)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103844071.png)]

3、删除test库的 test_maxwell 表的一条数据,查看 maxwell 的控制台输出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xi2khIMK-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103912231.png)]

总结:

type 代表操作类型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DLF8LbPR-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103940265.png)]

利用CTL+C退出监控界面

5.2、监控 MySQL 数据输出到 kafka

在安装我们maxwell的主机上:

1、启动zookeeper集群和kafka集群

(已启动)

2、启动 Maxwell 监控 binlog

bin/maxwell --user='root' --password='123456' --host='hp1' \
--producer=kafka --kafka.bootstrap.servers=hp1:9092 --kafka_topic=hunter

3、打开 kafka 的控制台的消费者消费 hunter 主题

在kafka集群中另选一台:

bin/kafka-console-consumer.sh --bootstrap-server hp1:9092 --topic hunter

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4HTGrSfa-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104528376.png)]

4.在test库的 test_maxwell 表中增加、修改、删除记录

增加:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YBxyqceB-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104733401.png)]

修改:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c0MTOHXM-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104652747.png)]

删除:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3t0jpskD-1678177926376)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104713390.png)]

test库的 test_maxwell 表中增加、修改、删除记录

增加:

在这里插入图片描述

修改:

在这里插入图片描述

删除:

在这里插入图片描述

相关文章:

11.Maxwell 部署

Maxwell 部署 一、环境准备 1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件; (1)启动zookeeper: /usr/app/zookeeper3.4/bin/zkServer.sh start(2)启动三台主题的kafka 启动:bin/kafka-serv…...

一文速学-GBDT模型算法原理以及实现+Python项目实战

目录 前言 一、GBDT算法概述 1.决策树 2.Boosting 3.梯度提升 使用梯度上升找到最佳参数 二、GBDT算法原理 1.计算原理 2.预测原理 三、实例算法实现 1.模型训练阶段 1)初始化弱学习器 2)对于建立M棵分类回归树​: 四、Python实现 …...

前端——2.HTML基本结构标签

这篇文章我们从0来介绍一下HTML的相关标签内容 目录 1.HTML语法规范 1.1基本语法概述 1.2标签关系 2.HTML的基本结构标签 2.1第一个HTML网页 2.2基本结构标签总结 1.HTML语法规范 下面,我们来看一下HTML的语法规范的内容 1.1基本语法概述 首先&#xff0c…...

OAK深度相机使用不同镜头和本地视频流进行模型推理

编辑:OAK中国 首发:oakchina.cn 喜欢的话,请多多👍⭐️✍ 内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。 ▌前言 Hello,大家好,这里是OAK中国,我是助手…...

[项目] Boost搜索引擎

目录 1.项目相关背景 2.项目宏观原理 3.技术栈和项目环境 4.正排索引&&倒排索引 5.去标签与数据清洗 6.构建索引模块Index 6.1正排索引 6.2 建立倒排 jiebacpp使用 建立分词 7.搜索引擎模块Searcher Jsoncpp -- 通过jsoncpp进行序列化和反序列化 处理Cont…...

解决新版QGIS找不到Georeferencer插件

目录1. 问题分析1.1 去 Raster 找,没找到1.2 去插件搜,未搜到1.3 插件库里也搜不到2. 解决办法在 QGIS 3.30中,按常规办法,找不到 Georeferencer插件,它并没有被安装,在库中也找不到它, 请问问题…...

c---冒泡排序模拟qsort

一、冒泡排序 二、冒泡排序优化排各种类型数据 文章目录一、冒泡排序二、冒泡排序优化排各种类型数据冒泡排序 冒泡排序原理&#xff1a;两两相邻元素进行比较 初级版 void bulle_sort(int* a, int sz) {int i 0;for (int i 0; i < sz-1; i){int j 0; for (j 0; j…...

Java知识复习(十四)JS

1、数据类型 基本数据类型&#xff1a;null、undefinde、boolean、string、number、symbol&#xff08;ES6新增&#xff09;引用数据类型&#xff1a;Function、Array、Object、Map和Set&#xff08;ES6新增&#xff09; 2、let、var和const的区别 var定义的变量&#xff0c…...

代码随想录刷题-数组-移除元素

文章目录写在前面习题我的想法暴力解法双指针写在前面 本节对应代码随想录中&#xff1a;代码随想录 习题 题目链接&#xff1a; 27. 移除元素- 力扣&#xff08;LeetCode&#xff09; 给你一个数组 nums 和一个值 val&#xff0c;你需要原地移除所有数值等于 val 的元素&a…...

聚观早报 |拼多多跨境电商业务正式登陆澳洲;中国加快6G网络研发

今日要闻&#xff1a;拼多多跨境电商业务正式登陆澳洲&#xff1b;全球自动驾驶公司排名特斯拉垫底&#xff1b;中国将加快 6G 网络研发&#xff1b;B站再次“崩”上热搜&#xff01;已闪电修复&#xff1b;微软将必应AI聊天每次对话上限增加至8条拼多多跨境电商业务正式登陆澳…...

MDK Keil5 创建Stm32工程-理论篇(这里以Stm32F103Zet6为例)

一、文件夹创建与文件说明整个工程可以粗略的划分为几个文件夹&#xff1a;BSP底层驱动比如GPIO\Timer等驱动文件CMSIS内核相关的文件Firmware生成的固件下载文件Mycode用户编写的相关文件&#xff0c;主要编写的文件都在这个文件夹里Project工程文件startup芯片启动文件STM32F…...

应届大学生学什么技术好?哪些技术适合年轻人?

到了毕业季&#xff0c;应届大学生面临的就是就业问题&#xff0c;很多专业的大学生难以找到对口的工作&#xff0c;或是不得已随便就业&#xff0c;或者是学个技术高薪就业&#xff0c;那么&#xff0c;问题来了&#xff0c;应届大学生学什么技术好&#xff1f;哪些技术适合年…...

车企数据分类分级的实践指南出炉!“数据安全推进计划”发布,奇点云参编

日前&#xff0c;“数据安全推进计划”&#xff08;DSI&#xff09;正式发布《智能网联汽车数据分类分级实践指南》&#xff08;下文简称“指南”&#xff09;&#xff0c;旨在以合规为主要导向&#xff0c;明确智能网联汽车数据分类分级的方法论&#xff0c;为数据全生命周期的…...

Nginx学习 (2) —— 虚拟主机配置

文章目录虚拟主机原理域名解析与泛域名解析&#xff08;实践&#xff09;配置文件中ServerName的匹配规则技术架构多用户二级域名短网址虚拟主机原理 为什么需要虚拟主机&#xff1a; 当一台主机充当服务器给用户提供资源的时候&#xff0c;并不是一直都有很大的用户量&#…...

Java 动态代理简述和实例

Java动态代理是一种在运行时动态创建代理对象的技术。它可以让我们在不修改原始代码的情况下&#xff0c;对原始对象进行增强或者添加额外的行为。这种代理方式可以用于很多场景&#xff0c;例如AOP编程、RPC框架等。动态代理是基于Java反射机制实现的&#xff0c;它允许程序在…...

Unity编译器扩展(Advanced Editor Scripting)

Untiy编译器扩展允许我们对编译器的增加自己编写的的功能菜单栏MenuItemContextMenu和ContextMenuItemContextMenuContextMenuItemMenuItem 该属性允许您将菜单项添加到主菜单和检查器窗口上下文菜单。 该属性将任何静态函数转换为菜单命令。只有静态函数可以使用该属性。 Men…...

AFR机制及流程介绍

AFR(Auto Fast Return)不符合3GPP协议标准,因此终端默认是disable状态。如果运营商有要求可以配置开启。 AFR有两种场景 2G或者3G AFR到4G4G AFR到5G3G AFR TO 4G AFR到LTE功能的作用就是终端从LTE Handover或者重定向到3G进行业务,等业务做完后能够快速回到LTE网络。...

9.Hbase 部署

9.Hbase部署 注意事项&#xff1a; 1&#xff1a;必须事先安装 Hadoop分布式集群&#xff0c;zookeeper分布式集群 2&#xff1a;查看版本号&#xff1a; hbase version1、解压文件并改名 tar -zxvf /opt/software/hbase-2.2.3-bin.tar.gz -C /usr/app/ mv hbase-2.2.3/ hba…...

【maven 学习记录】

maven 学习记录一、maven基础1. maven是什么2. maven的作用3. maven的下载安装4. maven仓库5. maven坐标6. 第一个maven项目 手工实现7. maven插件8. 依赖管理9. 生命周期二、maven进阶一、maven基础 1. maven是什么 maven的本质是一个项目管理工具&#xff0c;将项目开发和管…...

NB-IOT宣传这么多年,这次总算用好了吧

一、方案概述随着实体经济快速发展&#xff0c;石化、港口、货场、工地等区域规模日益扩大&#xff0c;厂区面积广阔、环境复杂、作业人员和车辆众多&#xff0c;如无法实时掌握工作人员状态及外来人员位置、外来车辆情况等问题&#xff0c;将存在非常大的安全隐患。今天小编介…...

大话软工笔记—需求分析概述

需求分析&#xff0c;就是要对需求调研收集到的资料信息逐个地进行拆分、研究&#xff0c;从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要&#xff0c;后续设计的依据主要来自于需求分析的成果&#xff0c;包括: 项目的目的…...

Opencv中的addweighted函数

一.addweighted函数作用 addweighted&#xff08;&#xff09;是OpenCV库中用于图像处理的函数&#xff0c;主要功能是将两个输入图像&#xff08;尺寸和类型相同&#xff09;按照指定的权重进行加权叠加&#xff08;图像融合&#xff09;&#xff0c;并添加一个标量值&#x…...

MVC 数据库

MVC 数据库 引言 在软件开发领域,Model-View-Controller(MVC)是一种流行的软件架构模式,它将应用程序分为三个核心组件:模型(Model)、视图(View)和控制器(Controller)。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系,以…...

(二)原型模式

原型的功能是将一个已经存在的对象作为源目标,其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现,忽略对象创建过程中的其它细节。 📌 核心特点: 避免重复初…...

C++ 求圆面积的程序(Program to find area of a circle)

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

ArcGIS Pro制作水平横向图例+多级标注

今天介绍下载ArcGIS Pro中如何设置水平横向图例。 之前我们介绍了ArcGIS的横向图例制作&#xff1a;ArcGIS横向、多列图例、顺序重排、符号居中、批量更改图例符号等等&#xff08;ArcGIS出图图例8大技巧&#xff09;&#xff0c;那这次我们看看ArcGIS Pro如何更加快捷的操作。…...

tree 树组件大数据卡顿问题优化

问题背景 项目中有用到树组件用来做文件目录&#xff0c;但是由于这个树组件的节点越来越多&#xff0c;导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多&#xff0c;导致的浏览器卡顿&#xff0c;这里很明显就需要用到虚拟列表的技术&…...

Spring AI与Spring Modulith核心技术解析

Spring AI核心架构解析 Spring AI&#xff08;https://spring.io/projects/spring-ai&#xff09;作为Spring生态中的AI集成框架&#xff0c;其核心设计理念是通过模块化架构降低AI应用的开发复杂度。与Python生态中的LangChain/LlamaIndex等工具类似&#xff0c;但特别为多语…...