当前位置： 首页 > news >正文

基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

news 2026/2/9 0:14:34

KAFKA基于docker使用KRaft进行集群搭建

环境：已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程

使用基于Zookeeper方式搭建集群教程

kafka-3.8.0版本 并启用SASL认证 教程

搭建kafka-ui可视化工具

192.168.2.91 192.168.2.92 192.168.2.93

一、创建kafka集群节点192.168.2.91

（1）进入kafka/config/
（2）修改server.properties

KRaft模式集群节点

node.id=91

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 第三方服务器访问kafka以及Kraft地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.91:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.91:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

二、创建kafka集群节点192.168.2.92

（1）进入kafka/config/
（2）修改server.properties

KRaft模式集群节点

node.id=92

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

#KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.92:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.92:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
在这里插入图片描述

三、创建kafka集群节点192.168.2.93

（1）进入kafka_2.13-3.8.0_1/config/
（2）修改server.properties

KRaft模式集群节点

node.id=93

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.93:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.93:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

四、配置192.168.2.91节点clientID 其中GuihyzOEQ3ulmBRdr6DVDA是我自己生成的集群ID 可通过UUID的方式自己生成

使用命令进入当前服务器的kafka容器中
（1）docker exec -it 容器ID bash
（2）cd 容器kafka/bin
（3）./kafka-storage.sh format -t GuihyzOEQ3ulmBRdr6DVDA -c …/config/server.properties
（4）重启当前kafka 容器

五、配置192.168.2.92。192.168.2.93节点clientID

内容如 四；

六、验证是否成功

方式一 直接使用命令

进入容器kafka/bin,启动生产者 连接19092端口，发送消息
在这里插入图片描述

进入其他节点的容器kafka/bin,启动消费者 接收19092端口消息，可以看到其他节点发送的消息 该消费者均可接收到
方式二 使用kafka-ui

附录：错误解决

如果遇到这个错误则进入 配置文件中配置 log.dirs 目录进行chmod -R 777 log.dirs设置的目录

相关文章：

基于docker搭建Kafka集群，使用KRaft方式搭建，摒弃Zookeeper

KAFKA基于docker使用KRaft进行集群搭建 环境：已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程 使用基于Zookeeper方式搭建集群教程 kafka-3.8.0版本 并启用SASL认证 教程 搭建kafka-ui可视化工具 192.168.2.91 192.168.2.92 192…...

编程日记 2025/2/7 5:30:26

Centos7 安装 RabbitMQ与Erlang

1、下载erlang和rabbitmq wget https://github.com/rabbitmq/erlang-rpm/releases/download/v23.3.4.5/erlang-23.3.4.5-1.el7.x86_64.rpmwget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.9.16/rabbitmq-server-3.9.16-1.el7.noarch.rpm2、安装erlang…...

编程日记 2025/2/7 5:29:24

mybatis-plus的分页查询简单使用

引入依赖 <dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-spring-boot3-starter</artifactId><version>3.5.5</version></dependency>在yml中配置启动mybatis-plus插件 mybatis-plus:configuration:#…...

编程日记 2025/2/7 5:27:22

剑指 Offer II 014. 字符串中的变位词

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20014.%20%E5%AD%97%E7%AC%A6%E4%B8%B2%E4%B8%AD%E7%9A%84%E5%8F%98%E4%BD%8D%E8%AF%8D/README.md 剑指 Offer II 014. 字符串中的变位词 题目描述 给定两个字符…...

编程日记 2025/2/7 5:26:20

富唯智能复合机器人拓展工业新维度

富唯智能复合机器人是富唯智能倾力打造的一款集高度自动化、智能化和多功能性于一体的机器人。它融合了机械、电子、计算机、传感器等多个领域的前沿技术&#xff0c;通过精密的算法和控制系统&#xff0c;实现了对复杂生产环境的快速适应和高效作业。 富唯智能复合机器人的特点…...

编程日记 2025/2/7 5:24:18

【大数据技术】搭建完全分布式高可用大数据集群（Scala+Spark）

搭建完全分布式高可用大数据集群（Scala+Spark） scala-2.13.16.tgzspark-3.5.4-bin-without-hadoop.tgz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。 注意： 统一约定将软件安装包存放于虚拟机的/softwa…...

编程日记 2025/2/7 5:22:16

solidity高阶 -- 调用接口合约

在区块链开发中&#xff0c;Solidity 是一种广泛使用的智能合约编程语言&#xff0c;而接口合约&#xff08;Interface&#xff09;是 Solidity 中一个非常重要的概念。它为智能合约之间的交互提供了一种标准化的方式&#xff0c;使得合约之间的调用更加灵活、安全且易于管理。…...

编程日记 2025/2/7 5:21:15

若依框架使用（低级）

克隆源码 浏览器搜索若依&#xff0c;选择 RuoYi-Vue RuoYi-Vue RuoYi-Vue 重要的事情说三遍&#xff0c;进入gitee 下面这个页面&#xff08;注意红色框起来的部分&#xff09; 进入Gitee进行下载 我下载的是最新的springboot3 下载好后我们可以选择一个文件夹&#xff0…...

编程日记 2025/2/7 5:20:12

找不到 MSVCP120.dll

msvcr120.dll msvcr120.dll 是 Microsoft Visual C Redistributable 的一部分&#xff0c;属于 Visual Studio 2013&#xff08;VC 12.0&#xff09;的运行时组件。它的重要性取决于你运行的应用程序是否需要它。 重要性 依赖库&#xff1a;如果某个程序是用 Visual Studio 2…...

编程日记 2025/2/7 5:19:10

AI软件栈：LLVM分析（三）

LLVM IR 文章目录 CFG线性IR 主要采用CFG与线性IR组合描述 CFG *关键在于基本块&#xff08;Basic Block&#xff09;的定义 线性IR *关键来自于SSA&#xff0c;单静态赋值...

编程日记 2025/2/7 5:18:07

openwebui入门

1 简介 ‌Open WebUI‌&#xff08;网址是openwebui.com&#xff09;是一个高度可扩展、功能强大且用户友好的自托管Web用户界面&#xff0c;专为完全离线操作设计&#xff0c;编程语言是python。它支持对接Ollama和OpenAI兼容的API的大模型。‌ Open WebUI‌在架构上是一种中…...

编程日记 2025/2/7 5:16:05

Spark--如何理解RDD

1、概念 rdd是对数据集的逻辑表示&#xff0c;本身并不存储数据&#xff0c;只是封装了计算逻辑&#xff0c;并构建执行计划&#xff0c;通过保存血缘关系来记录rdd的执行过程和历史&#xff08;当一个rdd需要重算时&#xff0c;系统会根据血缘关系追溯到最初的数据源&#xff…...

编程日记 2025/2/7 5:14:03

CTFSHOW-WEB入门-PHP特性89-100

题目&#xff1a;web 89 题目&#xff1a;解题思路&#xff1a;这道题目涉及了两个函数&#xff1a;preg_match&#xff08;&#xff09;和intval&#xff08;&#xff09;简要介绍一下两个函数 preg_match&#xff08;&#xff09;用于对字符串进行正则表达式的匹配&#xff0…...

编程日记 2025/2/7 5:06:55

[250204] Mistral Small 3：小巧、快速、强大 | asdf 0.16.0 发布：Golang 重写带来性能飞跃

目录 Mistral AI 发布开源模型 Mistral Small 3&#xff1a;小巧、快速、强大asdf 0.16.0 版本发布&#xff1a;Golang 重写带来性能飞跃&#xff01; Mistral AI 发布开源模型 Mistral Small 3&#xff1a;小巧、快速、强大 法国人工智能初创公司 Mistral AI 发布了最新的开源…...

编程日记 2025/2/7 5:01:46

PySpark学习笔记5-SparkSQL

sparkSql的数据抽象有两种。 一类是data set适用于java和Scala 一类是data frame适用于java&#xff0c;Scala&#xff0c;python 将r d d转换为data frame #方式一 df spark.createDataFrame(rdd,schema[name,age]) #方式二 schema Structtype(). add(id,integertype(),nu…...

编程日记 2025/2/7 4:53:38

windows版的docker如何使用宿主机的GPU

windows版的docker使用宿主机的GPU的命令 命令如下 docker run -it --nethost --gpus all --name 容器名 -e NVIDIA_DRIVER_CAPABILITIEScompute,utility -e NVIDIA_VISIBLE_DEVICESall 镜像名效果 (transformer) rootdocker-desktop:/# python Python 3.9.0 (default, Nov 15 …...

编程日记 2025/2/7 4:45:30

Python爬虫：1药城店铺爬虫（完整代码）

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ &#x1f434;作者&#xff1a;秋无之地 &#x1f434;简介&#xff1a;CSDN爬虫、后端、大数据领域创作者。目前从事python爬虫、后端和大数据等相关工作&#xff0c;主要擅长领域有&#xff1a;爬虫、后端、大数据…...

编程日记 2025/2/7 4:44:26

代码随想录算法训练营打卡第55天：并查集相关问题；

Java并查集的模板 //并查集模板 class DisJoint{private int[] father;public DisJoint(int N) {father new int[N];for (int i 0; i < N; i){father[i] i;}}public int find(int n) {return n father[n] ? n : (father[n] find(father[n]));}public void join (int …...

编程日记 2025/2/7 4:41:23

K8S学习笔记-------1.安装部署K8S集群环境

1.修改为root权限 #sudo su 2.修改主机名 #hostnamectl set-hostname k8s-master01 3.查看网络地址 sudo nano /etc/netplan/01-netcfg.yaml4.使网络配置修改生效 sudo netplan apply5.修改UUID&#xff08;某些虚拟机系统&#xff0c;需要设置才能生成UUID&#xff09;#…...

编程日记 2025/2/7 4:34:12

云原生周刊：K8s引领潮流

开源项目推荐 KWOK KWOK&#xff08;Kubernetes WithOut Kubelet&#xff09;是一个开源项目&#xff0c;旨在提供一个轻量级的 K8s 集群模拟环境&#xff0c;允许用户在不依赖真实节点的情况下&#xff0c;本地模拟整个 K8s 集群。它通过模拟 Kubelet 和其他集群组件的行为&…...

编程日记 2025/2/7 4:33:11

SkyWalking 10.2.0 SWCK 配置过程

SkyWalking 10.2.0 & SWCK 配置过程 skywalking oap-server & ui 使用Docker安装在K8S集群以外&#xff0c;K8S集群中的微服务使用initContainer按命名空间将skywalking-java-agent注入到业务容器中。 SWCK有整套的解决方案&#xff0c;全安装在K8S群集中。 具体可参…...

编程新知 2025/8/23 5:51:08

K8S认证|CKS题库+答案| 11. AppArmor

目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作&#xff1a; 1&#xff09;、切换集群 2&#xff09;、切换节点 3&#xff09;、切换到 apparmor 的目录 4&#xff09;、执行 apparmor 策略模块 5&#xff09;、修改 pod 文件 6&#xff09;、…...

编程新知 2026/1/29 2:11:35

视频字幕质量评估的大规模细粒度基准

大家读完觉得有帮助记得关注和点赞&#xff01;&#xff01;&#xff01; 摘要 视频字幕在文本到视频生成任务中起着至关重要的作用&#xff0c;因为它们的质量直接影响所生成视频的语义连贯性和视觉保真度。尽管大型视觉-语言模型&#xff08;VLMs&#xff09;在字幕生成方面…...

编程新知 2026/2/6 9:24:15

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

力扣热题100 k个一组反转链表题解

题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...

编程新知 2026/1/31 8:25:07

Chrome 浏览器前端与客户端双向通信实战

Chrome 前端&#xff08;即页面 JS / Web UI&#xff09;与客户端&#xff08;C 后端&#xff09;的交互机制&#xff0c;是 Chromium 架构中非常核心的一环。下面我将按常见场景&#xff0c;从通道、流程、技术栈几个角度做一套完整的分析&#xff0c;特别适合你这种在分析和改…...

编程新知 2026/2/4 16:47:57

Python爬虫实战：研究Restkit库相关技术

1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的有价值数据。如何高效地采集这些数据并将其应用于实际业务中，成为了许多企业和开发者关注的焦点。网络爬虫技术作为一种自动化的数据采集工具，可以帮助我们从网页中提取所需的信息。而 RESTful API …...

编程新知 2025/12/28 16:59:52

OpenHarmony标准系统-HDF框架之I2C驱动开发

文章目录 引言I2C基础知识概念和特性协议&#xff0c;四种信号组合 I2C调试手段硬件软件 HDF框架下的I2C设备驱动案例描述驱动Dispatch驱动读写 总结 引言 I2C基础知识 概念和特性 集成电路总线&#xff0c;由串网12C(1C、12C、Inter-Integrated Circuit BUS)行数据线SDA和串…...

编程新知 2026/1/28 8:52:29

AI书签管理工具开发全记录（十八）：书签导入导出

文章目录 AI书签管理工具开发全记录&#xff08;十八&#xff09;&#xff1a;书签导入导出1.前言 &#x1f4dd;2.书签结构分析 &#x1f4d6;3.书签示例 &#x1f4d1;4.书签文件结构定义描述 &#x1f523;4.1. ​整体文档结构​​4.2. ​核心元素类型​​4.3. ​层级关系4.…...

编程新知 2026/1/29 21:17:14

React 样式方案与状态方案初探

React 本身只提供了基础 UI 层开发范式&#xff0c;其他特性的支持需要借助相关社区方案实现。本文将介绍 React 应用体系中样式方案与状态方案的主流选择&#xff0c;帮助开发者根据项目需求做出合适的选择。 1. React 样式方案 1.1. 内联样式 (Inline Styles) 通过 style …...

编程新知 2025/12/28 21:18:41