当前位置： 首页 > news >正文

Kafka3.0.0版本——消费者（offset的默认维护位置）

news 文章来源：https://blog.csdn.net/li1325169021/article/details/132793330 2025/1/23 9:30:10

目录

    • 一、offset的默认维护位置
      • 1.1、offset的默认维护位置概述
      • 1.2、offset的默认维护位置图解
    • 二、消费者offset的案例

一、offset的默认维护位置

1.1、offset的默认维护位置概述

  • Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。
  • 从Kafka0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为__consumer_offsets
  • __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic进行compact，也就是每个 group.id+topic+分区号就保留最新数据。
  • __consumer_offsets 为 Kafka 中的 topic，那就可以通过消费者进行消费。

1.2、offset的默认维护位置图解

在这里插入图片描述

二、消费者offset的案例

  • 在配置文件 config/consumer.properties 中添加配置 exclude.internal.topics=false，默认是 true，表示不能消费系统主题。为了查看该系统主题数据，所以该参数修改为 false。
    在这里插入图片描述
    在这里插入图片描述

  • 重启kafka服务。
    在这里插入图片描述

  • 采用命令行方式，创建一个新的 topic。

    bin/kafka-topics.sh --bootstrap-server 192.168.136.27:9092 --create --partitions 2 --replication-factor 2 --topic offsetTopic

    在这里插入图片描述

  • 启动生产者往 offsetTopic 生产数据。

    bin/kafka-console-producer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic

    在这里插入图片描述

  • 启动消费者消费 offsetTopic 数据。
    注意：指定消费者组名称，更好观察数据存储位置（key 是 group.id+topic+分区号）。

    bin/kafka-console-consumer.sh  --bootstrap-server 192.168.136.27:9092 --topic offsetTopic --group test

    在这里插入图片描述

  • 查看消费者消费主题__consumer_offsets。

    bin/kafka-console-consumer.sh --topic __consumer_offsets  --bootstrap-server  192.168.136.29:9092  --consumer.config  config/consumer.properties  --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning

    在这里插入图片描述
    在这里插入图片描述

相关文章：

Kafka3.0.0版本——消费者（offset的默认维护位置）

目录 一、offset的默认维护位置1.1、offset的默认维护位置概述1.2、offset的默认维护位置图解 二、消费者offset的案例 一、offset的默认维护位置 1.1、offset的默认维护位置概述 Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中。从Kafka0.9版本开始&am…...

编程日记 2023/9/11 7:21:05

Wireshark技巧[监听串口包]

监听串口包 本文摘录于：https://blog.csdn.net/qq_20405005/article/details/79652927只是做学习备份之用，绝无抄袭之意，有疑惑请联系本人！ 这里要保证安装了USBpcap: 打开USBpcap后一半都要输入过滤条件,否则USB太多数据了,比如…...

编程日记 2023/9/11 7:20:01

安全运营中心即服务提供商评估

如果组织当前没有自己的安全运营中心(SOC)，那么可能需要考虑如何在不从头开始构建的情况下获得安全运营中心(SOC)。自己构建安全运营中心(SOC)的费用可能会非常昂贵，考虑到工作人员全天候运营的配置成本，就更是如此。在过去几年中&#xff0c…...

编程日记 2023/9/11 7:19:00

算法通关村第十三关——幂运算问题解析

前言 幂运算为常见的数学运算，形式为 a b a^b ab ，其中a为底数，b为指数， 力扣中，幂运算相关的问题主要是判断一个数是不是特定正整数的整数次幂，以及快速幂的处理。 1.求2的幂 力扣231题，给…...

编程日记 2023/9/11 7:17:58

Python 之使用Numpy库来加载Numpy（.npy）文件并检查其内容

文章目录 总的介绍data.dtypedata.shapedata.ndimdata.size 总的介绍 要判断一个Numpy（.npy）文件的数据集类型，你可以使用Python中的Numpy库来加载该文件并检查其内容。以下是一些常见的步骤： 导入Numpy库： 首先&…...

编程日记 2023/9/11 7:16:56

C#学习系列之UDP同端口收发问题

C#学习系列之UDP同端口收发问题 前言解决办法关于JoinMulticastGroup总结 前言 想测试自己的程序问题，建立了两个UDP程序，一个往端口中接到数就传出去，另一个从这个端口接数据来解析。 出现的问题是 每次打开端口，另一个程序就无…...

编程日记 2023/9/11 7:15:55

SpringMVC之文件上传下载以及jrebel的使用

目录 一、文件上传 1.1 导入依赖 1.2 配置文件上传解析器 1.3 配置服务器存放文件地址 1.3.1 点击编辑Configurations 1.3.2 将项目部署至tomcat服务器上 1.3.3 配置相对路径 1.4 导入PropertiesUtil工具类 1.5 编写resource.properties 1.6 添加sql 1.7 编写PageCo…...

编程日记 2023/9/11 7:14:54

基于Fomantic UI Web构建 个人导航站点网站源码 网站技术导航源码

BYR-Navi-master好看有个性的网站技术导航源码 该网站基于Fomantic UI Web框架构建，整个项目的设计和构建具有高度的配置和定制灵活性。 整体风格比较适合个人导航站点使用 搜索框输入关键词后，点击上方搜索引擎图标可跳转打开对应搜索引擎搜索结果&am…...

编程日记 2023/9/11 7:13:53

DRF02-请求响应与路由

文章目录 1. http请求响应1.1. 请求与响应1.1.1 Request1.1.1.1 常用属性1）.data2）.query_params3）request._request基本使用1.1.2 Response1.1.2.1 构造方式1.1.2.2 response对象的属性1）.data2）.status_code3）.content1.1.2.3 状态码1）信息告知 - 1xx2）成功 - 2xx3）…...

编程日记 2023/9/11 7:12:52

http直接调用paddlepaddle实现文字转语音,语音转文字

由于环境问题,折腾好久,记录下来,安装后使用还是很方便的 记录下来,方便自己,方便大家 1.安装 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 2.启动server 参考官方文档: mirrors / paddlepaddle / paddlespeech GitCode 3.直接调用 参考官方文档: htt…...

编程日记 2023/9/11 7:11:51

9. xaml ComboBox控件

1.运行图像 2.运行源码 a.Xaml源码 <Grid Name="Grid1"><!--IsDropDownOpen="True" 默认就是打开的--><ComboBox x:Name="co...

编程日记 2023/9/11 7:10:49

【后量子密码】CRYSTALS-KYBER 算法（二）：密钥封装 KEM（附源码分析）

一、前言 Kyber 算法是一种满足 IND-CCA2 安全的密钥封装机制（key-encapsulation mechanism，KEM），其安全性依赖于MLWE 问题的困难性。Kyber 算法构建采用了两阶段的方法：首先引入了一种IND-CPA 安全的公钥加密方案，用于加密长度为32字节的消息，称之为Kyber.CPAPKE；然后…...

编程日记 2023/9/11 7:09:49

什么是原⼦操作？在 JUC 中有哪些原⼦类？

原子操作是一种在多线程环境下不会被中断的操作，它要么完全执行，要么完全不执行，不会出现中间状态。原子操作通常是对共享数据的操作，确保多个线程同时访问共享数据时不会导致数据不一致或损坏。 在Java中，java.util.concurrent 包提供了一组原子类，用于执行原子操作。以…...

编程日记 2023/9/11 7:08:47

2022年12月 C/C++（八级）真题解析#中国电子学会#全国青少年软件编程等级考试

C/C++编程（1~8级）全部真题・点这里 第1题：生理周期 人生来就有三个生理周期，分别为体力、感情和智力周期，它们的周期长度为23天、28天和33天。每一个周期中有一天是高峰。在高峰这天，人会在相应的方面表现出色。例如，智力周期的高峰，人会思维敏捷，精力容易高度集中。因…...

编程日记 2023/9/11 7:07:47

Hadoop的HDFS的集群安装部署

注意&#xff1a;主机名不要有/_等特殊的字符&#xff0c;不然后面会出问题。有问题可以看看第5点&#xff08;问题&#xff09;。 1、下载 1.1、去官网&#xff0c;点下载 下载地址&#xff1a;https://hadoop.apache.org/ 1.2、选择下载的版本 1.2.1、最新版 1.2.2、其…...

编程日记 2023/9/11 7:06:45

uniapp 在 onLoad 事件中 this.$refs 娶不到的问题

现象 本人想在主页面加载的时候调用子组件的方法。示例代码如下&#xff1a; 运行&#xff0c;发现 this.$refs 取不到。如下图所示&#xff1a; 解决方法&#xff0c;把onLoad 换为 onReady 就可以了。...

编程日记 2023/9/11 7:05:44

常見算法時間複雜度分析

当我们进行算法分析时&#xff0c;通常会忽略掉常数倍数的因子和低阶项&#xff0c;只考虑最高阶的项。这是因为在大规模问题下&#xff0c;较小的项和常数倍数的因子相对于最高阶的项来说变得可以忽略不计。 以下是一些常见的示例&#xff0c;说明了常数倍数的因子和高阶项对…...

编程日记 2023/9/11 7:04:43

自学Python05-学会Python中的函数定义

亲爱的同学们&#xff0c;今天我们将开始学习 Python 中的函数。函数就像一个魔法盒子&#xff0c;可以让我们在程序中执行一段代码&#xff0c;并且可以反复使用。这样&#xff0c;我们的程序就可以变得更加简洁和易于理解。现在&#xff0c;让我们一起来学习如何使用函数吧&a…...

编程日记 2023/9/11 7:03:42

设计模式-组合模式（Composite）

文章目录 前言一、组合模式的概念二、组合模式的优缺点1.优点2.缺点 三、组合模式的实现总结 前言 组合模式&#xff08;Composite Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许你将对象组合成树状结构以表示“整体-部分”的层次结构。组合模式使得客户端可以统…...

编程日记 2023/9/11 7:02:39

架构核心技术之微服务架构

小熊学Java&#xff1a;https://www.javaxiaobear.cn/&#xff0c;文末有免费资源 本文我们来学习微服务的架构设计 主要包括如下内容。 单体系统的困难&#xff1a;编译部署困难、数据库连接耗尽、服务复用困难、新增业务困难。 微服务框架&#xff1a;Dubbo 和 Spring Clou…...

编程日记 2023/9/11 7:01:39

SQL Server2022版+SSMS安装教程（保姆级）

SQL Server2022版SSMS安装教程&#xff08;保姆级&#xff09; 一&#xff0c;安装SQL Server数据库 1.下载安装包 &#xff08;1&#xff09;百度网盘下载安装包 链接&#xff1a;https://pan.baidu.com/s/1A-WRVES4EGv8EVArGNF2QQ?pwd6uvs 提取码&#xff1a;6uvs &…...

编程日记 2023/9/11 7:00:37

go语言基础---8

Http请求报文格式分析 package mainimport ("fmt""net" )func main() {//监听listener, err : net.Listen("tcp", ":8000")if err ! nil {fmt.Println("listener err", err)return}defer listener.Close()//阻塞等待用户的…...

编程日记 2023/9/11 6:59:35

Oracle的 dblink 学习笔记

文章目录 一、基础环境二、适用场景三、过程和方法四、参考资料 版权声明&#xff1a;本文为CSDN博主「杨群」的原创文章&#xff0c;遵循 CC 4.0 BY-SA版权协议&#xff0c;于2023年9月10日首发于CSDN&#xff0c;转载请附上原文出处链接及本声明。 原文链接&#xff1a;http…...

编程日记 2023/9/11 6:58:33

任意文件上传

1.任意文件上传概述 1.1 漏洞成因 服务器配置不当&#xff0c;开启了PUT 方法。 Web 应用开放了文件上传功能&#xff0c;没有对上传的文件做足够的限制和过滤。在程序开发部署时&#xff0c;没有考虑以下因素&#xff0c;导致限制被绕过&#xff1a; 代码特性 组件漏洞&am…...

编程日记 2023/9/11 6:57:32

【Unity3D】UI Toolkit自定义元素

1 前言 UI Toolkit 支持通过继承 VisualElement 实现自定义元素&#xff0c;便于通过脚本控制元素。另外&#xff0c;UI Toolkit 也支持将一个容器及其所有子元素作为一个模板&#xff0c;便于通过脚本复制模板。 如果读者对 UI Toolkit 不是太了解&#xff0c;可以参考以下内容…...

编程日记 2023/9/11 6:56:31

layui手机端使用laydate时间选择器被输入法遮挡的解决方案

在HTML中&#xff0c;你可以使用input元素的readonly属性来禁止用户输入&#xff0c;但是这将完全禁用输入&#xff0c;而不仅仅是禁止弹出输入法。如果你想允许用户在特定条件下输入&#xff0c;你可以使用JavaScript来动态地切换readonly属性。 readonly属性 增加readonly属…...

编程日记 2023/9/11 6:55:30

MVSNet CVPR-2018 学习总结笔记 译文 深度学习三维重建

文章目录 2 MVSNet CVPR-20182.0 主要特点2.1 过程2.2 MVSNet主要贡献2.3 论文简介2.3.1 深度特征提取2.3.2 构造匹配代价2.3.3 代价累计2.3.4 深度估计2.3.5 深度图优化2.4 MVSNet（pytorch版本）2 MVSNet CVPR-2018 MVSNet (pytorch版) 代码注释版 下载 （注释非常详细，代码…...

编程日记 2023/9/11 6:54:29

Kafka/Spark-01消费topic到写出到topic

1 Kafka的工具类 1.1 从kafka消费数据的方法 消费者代码 def getKafkaDStream(ssc : StreamingContext , topic: String , groupId:String ) {consumerConfigs.put(ConsumerConfig.GROUP_ID_CONFIG , groupId)val kafkaDStream: InputDStream[ConsumerRecord[String, Strin…...

编程日记 2023/9/11 6:53:27

【算法与数据结构】98、LeetCode验证二叉搜索树

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引&#xff0c;可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析&#xff1a;注意不要落入下面你的陷阱&#xff0c;笔者本来想左节点键值<中间节点键值<右节点键值即可&…...

编程日记 2023/9/11 6:52:25

关于GitHub Desktop中的“Open in Git Bash”无法使用的问题

问题描述 在GitHub Desktop中选择Repository--Open in Git Bash&#xff08;如图1&#xff09;&#xff0c;出现如图2所示结果。 图1 图2 解决办法&#xff08;Windows10&#xff09; 这个问题是由于Git的环境变量没有得到正确配置所导致的&#xff0c;所以需要正确设置环境变量…...

编程日记 2023/9/11 6:51:25

大连做网站谁家售后好/广州网站优化页面

我需要在Python应用程序中使用多播,在谷歌搜索了一下之后,我发现了有效的代码片段,这里是&#xff1a;# UDP multicast examples, Hugo Vincent, 2005-05-14.import socketimport sysimport structdef send(data, port50000, addr239.192.1.100):"""send(data[,…...

编程日记 2025/1/23 8:01:09

做外汇需要关注的新闻网站/北京网站优化

php用cookie实现记住登录状态php使用cookie实现记住登录状态,本文用最原始的方法讲解如何实现记住登录状态,给出3个步骤和具体实现代码,要实现记住密码自动登录的功能我们大多数据都是利用了客户端的cookies来实现&#xff0c;我们利用php也不例外&#xff0c;有需要的朋友可以…...

编程日记 2025/1/23 6:22:17

工程建筑公司网站/360收录查询

译序 很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目&#xff0c;什么时候用 SQL&#xff0c;什么时候用 Hadoop&#xff0c;它们之间如何取舍&#xff1f;Aaron Cordova 用一张图来回答你这个问题&#xff0c;对于不同的数据场景&#xff0c;如何选取正确的数据…...

编程日记 2025/1/23 3:29:23

士兵突击网站怎么做/企业关键词优化推荐

0. 前言 GDB&#xff08;GNU Debugger&#xff09;是UNIX及UNIX-like下的强大调试工具&#xff0c;可以调试ada, c, c, asm, minimal, d, fortran, objective-c, go, java,pascal等语言。本文以C程序为例&#xff0c;介绍GDB启动调试的多种方式。 1.哪类程序可被调试 对于C程…...

编程日记 2025/1/23 3:25:15

怎么做网站的301/武汉seo诊断

3个master&#xff1a;在整个集群负责数据的写操作(添加&#xff0c;更新&#xff0c;删除)。 3个slave:在整个集群中负载数据的读操作&#xff0c;slave会同步自己对于的master上的数据&#xff0c;完成数据读写分离&#xff0c;主从同步&#xff0c;同时做到高可用。当某个m…...

编程日记 2025/1/23 0:58:32

重庆直播网站平台建设/安徽网站推广优化

&#xfeff;&#xfeff;&#xfeff;题目解决代码及点评/*调整数组&#xff0c;让基数在前&#xff0c;偶数在后遍历的方法显然是低级的&#xff0c;更好的方法是&#xff0c;用两个指针&#xff0c;一个从头&#xff0c;一个从尾部&#xff0c;逼近中间&#xff0c;如果1&am…...

编程日记 2025/1/22 21:58:28