当前位置: 首页 > news >正文

11.Maxwell 部署

Maxwell 部署

一、环境准备

1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件;

(1)启动zookeeper:

/usr/app/zookeeper3.4/bin/zkServer.sh start

(2)启动三台主题的kafka

启动:bin/kafka-server-start.sh -daemon config/server.properties
停止:/usr/app/kafka/bin/kafka-server-stop.sh

2、在如下地址下载Maxwell软件:

https://github.com/zendesk/maxwell/releases/tag/v1.29.1

3、解压文件并改名

解压文件:

tar -zxvf /opt/software/maxwell-1.29.1.tar.gz -C /usr/app/

修改目录:

mv maxwell-1.29.1/ maxwell-1.29

修改/et/profile环境变量,并source /etc/profile:

export MAXWELL_HOME=/usr/app/maxwell1.29.1
export PATH=$PATH:$MAXWELL_HOME/bin

二、MySQL准备

1、修改MySQL的配置文件/etc/my.cnf,开启MySQL的binlog设置

# Maxwell 日志采集的配置
server_id=1
# 设置生成的二进制文件的前缀
log-bin=mysql-bin
# 设置binlog的二进制文件的日志级别 行级模式
binlog_format=row# binlog的执行的库 如果不加这个参数那么mysql会对所有的库都生成对应的binlog 即对所有的库进行binlog监控
#(这里我们使用test库测试)
# 设置只监控某个或某些数据库,多个数据就设置多行,test代表库名
binlog-do-db=test

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lAFgmmvf-1678177926369)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps13.jpg)]

2、重启MySQL服务

systemctl  restart  mysqld

3、登录MySQL并查看是否修改成功

mysql  –uroot  -pshow variables like '%binlog%'

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ykn4ifZZ-1678177926370)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103128494.png)]

4、进入 /var/lib/mysql 目录,查看MySQL生成的binlog文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H9owQYfN-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\wps15.jpg)]

三、初始化Maxwell元数据库

1、在MySQL中建立一个 maxwell 库用于存储 maxwell 元数据。表会自动创建。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AlWztPC4-1678177926371)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103255532.png)]

四、使用命令行参数启动Maxwell进程

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

参数解读:

--user 连接 mysql 的用户--password 连接 mysql 的用户的密码--host mysql 安装的主机名--producer 生产者模式(stdout:控制台 kafka:kafka 集群)

五、实操练习

5.1、监控MySQL数据并在控制台打印

1、运行maxwell监控MySQL数据增加、删除、更新

bin/maxwell --user='root' --password='123456' --host='hp1' --producer=stdout

2、向 mysql 的 test 库的 test_maxwell 表插入一条数据,查看 maxwell 的控制台输出

2.1 首先创建 表,可以看出,打印出了我们在test库下新建了一个表

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J82foazu-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103604013.png)]

2.2 插入一条数据,如图:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBJtNjmH-1678177926372)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103802532.png)]

3、修改 test库的test_maxwell 表的一条数据,查看 maxwell 的控制台输出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NyFeHB4b-1678177926373)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103844071.png)]

3、删除test库的 test_maxwell 表的一条数据,查看 maxwell 的控制台输出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xi2khIMK-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103912231.png)]

总结:

type 代表操作类型

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DLF8LbPR-1678177926374)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307103940265.png)]

利用CTL+C退出监控界面

5.2、监控 MySQL 数据输出到 kafka

在安装我们maxwell的主机上:

1、启动zookeeper集群和kafka集群

(已启动)

2、启动 Maxwell 监控 binlog

bin/maxwell --user='root' --password='123456' --host='hp1' \
--producer=kafka --kafka.bootstrap.servers=hp1:9092 --kafka_topic=hunter

3、打开 kafka 的控制台的消费者消费 hunter 主题

在kafka集群中另选一台:

bin/kafka-console-consumer.sh --bootstrap-server hp1:9092 --topic hunter

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4HTGrSfa-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104528376.png)]

4.在test库的 test_maxwell 表中增加、修改、删除记录

增加:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YBxyqceB-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104733401.png)]

修改:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c0MTOHXM-1678177926375)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104652747.png)]

删除:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3t0jpskD-1678177926376)(C:\Users\蒋欢\Desktop\题目搭建\搭建笔记\image-20230307104713390.png)]

test库的 test_maxwell 表中增加、修改、删除记录

增加:

在这里插入图片描述

修改:

在这里插入图片描述

删除:

在这里插入图片描述

相关文章:

11.Maxwell 部署

Maxwell 部署 一、环境准备 1、确保服务器上已经安装好了zookeeper、kafka、MySQL软件; (1)启动zookeeper: /usr/app/zookeeper3.4/bin/zkServer.sh start(2)启动三台主题的kafka 启动:bin/kafka-serv…...

一文速学-GBDT模型算法原理以及实现+Python项目实战

目录 前言 一、GBDT算法概述 1.决策树 2.Boosting 3.梯度提升 使用梯度上升找到最佳参数 二、GBDT算法原理 1.计算原理 2.预测原理 三、实例算法实现 1.模型训练阶段 1)初始化弱学习器 2)对于建立M棵分类回归树​: 四、Python实现 …...

前端——2.HTML基本结构标签

这篇文章我们从0来介绍一下HTML的相关标签内容 目录 1.HTML语法规范 1.1基本语法概述 1.2标签关系 2.HTML的基本结构标签 2.1第一个HTML网页 2.2基本结构标签总结 1.HTML语法规范 下面,我们来看一下HTML的语法规范的内容 1.1基本语法概述 首先&#xff0c…...

OAK深度相机使用不同镜头和本地视频流进行模型推理

编辑:OAK中国 首发:oakchina.cn 喜欢的话,请多多👍⭐️✍ 内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。 ▌前言 Hello,大家好,这里是OAK中国,我是助手…...

[项目] Boost搜索引擎

目录 1.项目相关背景 2.项目宏观原理 3.技术栈和项目环境 4.正排索引&&倒排索引 5.去标签与数据清洗 6.构建索引模块Index 6.1正排索引 6.2 建立倒排 jiebacpp使用 建立分词 7.搜索引擎模块Searcher Jsoncpp -- 通过jsoncpp进行序列化和反序列化 处理Cont…...

解决新版QGIS找不到Georeferencer插件

目录1. 问题分析1.1 去 Raster 找,没找到1.2 去插件搜,未搜到1.3 插件库里也搜不到2. 解决办法在 QGIS 3.30中,按常规办法,找不到 Georeferencer插件,它并没有被安装,在库中也找不到它, 请问问题…...

c---冒泡排序模拟qsort

一、冒泡排序 二、冒泡排序优化排各种类型数据 文章目录一、冒泡排序二、冒泡排序优化排各种类型数据冒泡排序 冒泡排序原理&#xff1a;两两相邻元素进行比较 初级版 void bulle_sort(int* a, int sz) {int i 0;for (int i 0; i < sz-1; i){int j 0; for (j 0; j…...

Java知识复习(十四)JS

1、数据类型 基本数据类型&#xff1a;null、undefinde、boolean、string、number、symbol&#xff08;ES6新增&#xff09;引用数据类型&#xff1a;Function、Array、Object、Map和Set&#xff08;ES6新增&#xff09; 2、let、var和const的区别 var定义的变量&#xff0c…...

代码随想录刷题-数组-移除元素

文章目录写在前面习题我的想法暴力解法双指针写在前面 本节对应代码随想录中&#xff1a;代码随想录 习题 题目链接&#xff1a; 27. 移除元素- 力扣&#xff08;LeetCode&#xff09; 给你一个数组 nums 和一个值 val&#xff0c;你需要原地移除所有数值等于 val 的元素&a…...

聚观早报 |拼多多跨境电商业务正式登陆澳洲;中国加快6G网络研发

今日要闻&#xff1a;拼多多跨境电商业务正式登陆澳洲&#xff1b;全球自动驾驶公司排名特斯拉垫底&#xff1b;中国将加快 6G 网络研发&#xff1b;B站再次“崩”上热搜&#xff01;已闪电修复&#xff1b;微软将必应AI聊天每次对话上限增加至8条拼多多跨境电商业务正式登陆澳…...

MDK Keil5 创建Stm32工程-理论篇(这里以Stm32F103Zet6为例)

一、文件夹创建与文件说明整个工程可以粗略的划分为几个文件夹&#xff1a;BSP底层驱动比如GPIO\Timer等驱动文件CMSIS内核相关的文件Firmware生成的固件下载文件Mycode用户编写的相关文件&#xff0c;主要编写的文件都在这个文件夹里Project工程文件startup芯片启动文件STM32F…...

应届大学生学什么技术好?哪些技术适合年轻人?

到了毕业季&#xff0c;应届大学生面临的就是就业问题&#xff0c;很多专业的大学生难以找到对口的工作&#xff0c;或是不得已随便就业&#xff0c;或者是学个技术高薪就业&#xff0c;那么&#xff0c;问题来了&#xff0c;应届大学生学什么技术好&#xff1f;哪些技术适合年…...

车企数据分类分级的实践指南出炉!“数据安全推进计划”发布,奇点云参编

日前&#xff0c;“数据安全推进计划”&#xff08;DSI&#xff09;正式发布《智能网联汽车数据分类分级实践指南》&#xff08;下文简称“指南”&#xff09;&#xff0c;旨在以合规为主要导向&#xff0c;明确智能网联汽车数据分类分级的方法论&#xff0c;为数据全生命周期的…...

Nginx学习 (2) —— 虚拟主机配置

文章目录虚拟主机原理域名解析与泛域名解析&#xff08;实践&#xff09;配置文件中ServerName的匹配规则技术架构多用户二级域名短网址虚拟主机原理 为什么需要虚拟主机&#xff1a; 当一台主机充当服务器给用户提供资源的时候&#xff0c;并不是一直都有很大的用户量&#…...

Java 动态代理简述和实例

Java动态代理是一种在运行时动态创建代理对象的技术。它可以让我们在不修改原始代码的情况下&#xff0c;对原始对象进行增强或者添加额外的行为。这种代理方式可以用于很多场景&#xff0c;例如AOP编程、RPC框架等。动态代理是基于Java反射机制实现的&#xff0c;它允许程序在…...

Unity编译器扩展(Advanced Editor Scripting)

Untiy编译器扩展允许我们对编译器的增加自己编写的的功能菜单栏MenuItemContextMenu和ContextMenuItemContextMenuContextMenuItemMenuItem 该属性允许您将菜单项添加到主菜单和检查器窗口上下文菜单。 该属性将任何静态函数转换为菜单命令。只有静态函数可以使用该属性。 Men…...

AFR机制及流程介绍

AFR(Auto Fast Return)不符合3GPP协议标准,因此终端默认是disable状态。如果运营商有要求可以配置开启。 AFR有两种场景 2G或者3G AFR到4G4G AFR到5G3G AFR TO 4G AFR到LTE功能的作用就是终端从LTE Handover或者重定向到3G进行业务,等业务做完后能够快速回到LTE网络。...

9.Hbase 部署

9.Hbase部署 注意事项&#xff1a; 1&#xff1a;必须事先安装 Hadoop分布式集群&#xff0c;zookeeper分布式集群 2&#xff1a;查看版本号&#xff1a; hbase version1、解压文件并改名 tar -zxvf /opt/software/hbase-2.2.3-bin.tar.gz -C /usr/app/ mv hbase-2.2.3/ hba…...

【maven 学习记录】

maven 学习记录一、maven基础1. maven是什么2. maven的作用3. maven的下载安装4. maven仓库5. maven坐标6. 第一个maven项目 手工实现7. maven插件8. 依赖管理9. 生命周期二、maven进阶一、maven基础 1. maven是什么 maven的本质是一个项目管理工具&#xff0c;将项目开发和管…...

NB-IOT宣传这么多年,这次总算用好了吧

一、方案概述随着实体经济快速发展&#xff0c;石化、港口、货场、工地等区域规模日益扩大&#xff0c;厂区面积广阔、环境复杂、作业人员和车辆众多&#xff0c;如无法实时掌握工作人员状态及外来人员位置、外来车辆情况等问题&#xff0c;将存在非常大的安全隐患。今天小编介…...

React hook之useRef

React useRef 详解 useRef 是 React 提供的一个 Hook&#xff0c;用于在函数组件中创建可变的引用对象。它在 React 开发中有多种重要用途&#xff0c;下面我将全面详细地介绍它的特性和用法。 基本概念 1. 创建 ref const refContainer useRef(initialValue);initialValu…...

R语言AI模型部署方案:精准离线运行详解

R语言AI模型部署方案:精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案,实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点: 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

蓝桥杯 2024 15届国赛 A组 儿童节快乐

P10576 [蓝桥杯 2024 国 A] 儿童节快乐 题目描述 五彩斑斓的气球在蓝天下悠然飘荡&#xff0c;轻快的音乐在耳边持续回荡&#xff0c;小朋友们手牵着手一同畅快欢笑。在这样一片安乐祥和的氛围下&#xff0c;六一来了。 今天是六一儿童节&#xff0c;小蓝老师为了让大家在节…...

(二)原型模式

原型的功能是将一个已经存在的对象作为源目标,其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现,忽略对象创建过程中的其它细节。 📌 核心特点: 避免重复初…...

spring:实例工厂方法获取bean

spring处理使用静态工厂方法获取bean实例&#xff0c;也可以通过实例工厂方法获取bean实例。 实例工厂方法步骤如下&#xff1a; 定义实例工厂类&#xff08;Java代码&#xff09;&#xff0c;定义实例工厂&#xff08;xml&#xff09;&#xff0c;定义调用实例工厂&#xff…...

Element Plus 表单(el-form)中关于正整数输入的校验规则

目录 1 单个正整数输入1.1 模板1.2 校验规则 2 两个正整数输入&#xff08;联动&#xff09;2.1 模板2.2 校验规则2.3 CSS 1 单个正整数输入 1.1 模板 <el-formref"formRef":model"formData":rules"formRules"label-width"150px"…...

10-Oracle 23 ai Vector Search 概述和参数

一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI&#xff0c;使用客户端或是内部自己搭建集成大模型的终端&#xff0c;加速与大型语言模型&#xff08;LLM&#xff09;的结合&#xff0c;同时使用检索增强生成&#xff08;Retrieval Augmented Generation &#…...

scikit-learn机器学习

# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...

群晖NAS如何在虚拟机创建飞牛NAS

套件中心下载安装Virtual Machine Manager 创建虚拟机 配置虚拟机 飞牛官网下载 https://iso.liveupdate.fnnas.com/x86_64/trim/fnos-0.9.2-863.iso 群晖NAS如何在虚拟机创建飞牛NAS - 个人信息分享...