当前位置： 首页 > news >正文

Kafka3.0.0版本——Follower故障处理细节原理

news 2026/2/8 1:26:19

目录

    • 一、服务器信息
    • 二、服务器基本信息及相关概念
      • 2.1、服务器基本信息
      • 2.2、LEO的概念
      • 2.3、HW的概念
    • 三、Follower故障处理细节

一、服务器信息

  • 三台服务器
    原始服务器名称原始服务器ip节点
    centos7虚拟机1192.168.136.27broker0
    centos7虚拟机2192.168.136.28broker1
    centos7虚拟机3192.168.136.29broker2

二、服务器基本信息及相关概念

2.1、服务器基本信息

  • 首先，分别有3台服务器分别为broker0、broker1、broker2，其中一台为leader，2台follower服务器。每台服务器已经接收到数据，如下图所示：
    在这里插入图片描述

2.2、LEO的概念

  • LEO（Log End Offset）：每个副本的最后一个offset，LEO其实就是最新的offset + 1
    在这里插入图片描述

2.3、HW的概念

  • HW（High Watermark ）:高水位线，所有副本中最小的LEO+1。如下图中每个broker都有的数据是4（即最小的LEO为4），HW为最小的LEO+1,

    在这里插入图片描述

三、Follower故障处理细节

  • Follower发生故障后会被临时踢出ISR，如下图所示：

    在这里插入图片描述

  • 这个期间broker0中的Leader和broker1Follower继续接收数据，HW和LEO位置会随着接收数据的变化而变化，如下图所示：
    在这里插入图片描述

  • 待该Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步。
    在这里插入图片描述

在这里插入图片描述

  • 等该Follower 的LEO 大于等于该Partition 的HW，即Follower追上Leader之后，就可以重新加入ISR了，如下图所示：

在这里插入图片描述

相关文章：

Kafka3.0.0版本——Follower故障处理细节原理

目录 一、服务器信息二、服务器基本信息及相关概念2.1、服务器基本信息2.2、LEO的概念2.3、HW的概念 三、Follower故障处理细节 一、服务器信息 三台服务器 原始服务器名称原始服务器ip节点centos7虚拟机1192.168.136.27broker0centos7虚拟机2192.168.136.28broker1centos7虚拟…...

编程日记 2023/8/30 4:45:20

13.redis集群、主从复制、哨兵

1.redis主从复制 主从复制是指将一台redis服务器（主节点-master）的数据复制到其他的redis服务器（从节点-slave），默认每台redis服务器都是主节点，每个主节点可以有多个或没有从节点，但一个从节点…...

编程日记 2023/8/30 4:44:16

linux字符串处理

目录 1 C 截取字符串,截取两个子串中间的字符串2 获取该字符串后面的字符串用 strstr() 函数查找需要提取的特定字符串，然后通过指针运算获取该字符串后面的字符串用 strtok() 函数分割字符串，找到需要提取的特定字符串后，调用 strtok() 传入…...

编程日记 2023/8/30 4:43:14

Nginx入门——Nginx的docker版本和windows版本安装和使用 代理的概念 负载分配策略

目录 引出nginx是啥正向代理和反向代理正向代理反向代理 nginx的安装使用Docker版本的nginx安装下载创建挂载文件获取配置文件创建docker容器拷贝容器中的配置文件删除容器 创建运行容器开放端口进行代理和测试 Windows版本的使用反向代理多个端口运行日志查看启动关闭重启 负载…...

编程日记 2023/8/30 4:42:12

Zebec Protocol：模块化 L3 链 Nautilus Chain，深度拓展流支付体系

过去三十年间，全球金融科技领域已经成熟并迅速增长，主要归功于不同的数字支付媒介的出现。然而，由于交易延迟、高额转账费用等问题愈发突出，更高效、更安全、更易访问的支付系统成为新的刚需。 此前，咨询巨头麦肯锡的一…...

编程日记 2023/8/30 4:41:09

Oracle-rolling upgrade升级19c

前言: 本文主要描述Oracle11g升19c rolling upgrade升级测试，通过逻辑DGautoupgrade方式实现rolling upgrade，从而达到在较少停机时间内完成Oracle11g升级到19c的目标 升级介绍： 升级技术: rolling upgrade轮询升级，通过采用跨版…...

编程日记 2023/8/30 4:40:03

Spring IOC详解

Spring 笔记 官网：https://spring.io/ 核心功能：当你的项目启动的时候，自动的将当前项目的各种 Bean 都自动的注册到 Spring 容器中，然后在项目的其他地方，如果需要用到这些 Bean，直接去 Spring 容器中查…...

编程日记 2023/8/30 4:39:02

Unity——DOTween插件使用方法简介

缓动动画既是一种编程技术，也是一种动画的设计思路。从设计角度来看，可以有以下描述 事先设计很多基本的动画样式，如移动、缩放、旋转、变色和弹跳等。但这些动画都以抽象方式表示，一般封装为程序函数动画的参数可以在使用时指定&…...

编程日记 2023/8/30 4:38:01

数据库——Redis 单线程模型详解

文章目录 Redis 基于 Reactor 模式来设计开发了自己的一套高效的事件处理模型 （Netty 的线程模型也基于 Reactor 模式，Reactor 模式不愧是高性能 IO 的基石），这套事件处理模型对应的是 Redis 中的文件事件处理器（file …...

编程日记 2023/8/30 4:36:59

leetcode 567. 字符串的排列(滑动窗口-java)

滑动窗口 字符串的排列滑动窗口代码演示进阶优化版 上期经典 字符串的排列 难度 -中等 leetcode567. 字符串的排列 给你两个字符串 s1 和 s2 ，写一个函数来判断 s2 是否包含 s1 的排列。如果是，返回 true ；否则，返回 false 。 换句…...

编程日记 2023/8/30 4:35:58

Git —— 分支重命名操作

在开发中，对某个分支进行重命名的操作： 1、本地分支重命名 本地分支是指：你当前这个分支还没有推送到远程的情况，这种情况修改分支名称就要方便很多 git branch -m 原始名称 新名称 //示例： 修改 test 为 newTest g…...

编程日记 2023/8/30 4:34:55

JavaIO流

JavaIO流 一、概念二、File类三、File类的使用1、File文件/文件夹类的创建2、File类的获取操作3、File类判断操作 - boolean4、File类对文件/文件夹的增删改5、File类的获取子文件夹以及子文件的方法 四、Java中IO流多种维度的维度1、按照流向 - Java程序2、按照流的大小分类3、…...

编程日记 2023/8/30 4:33:52

FlinkSql 如何实现数据去重？

摘要 很多时候flink消费上游kafka的数据是有重复的，因此有时候我们想数据在落盘之前进行去重，这在实际开发中具有广泛的应用场景，此处不说详细代码，只粘贴相应的flinksql 代码 --********************************************…...

编程日记 2023/8/30 4:32:51

机器学习概念

目录 一、人工智能、机器学习、深度学习的关系 二、什么是深度学习？ 2.1 深度学习常用算法 一、人工智能、机器学习、深度学习的关系 人工智能、机器学习和深度学习的关系如下所示。 二、什么是深度学习？ 深度学习( DL, Deep Learning) 是机器学习 …...

编程日记 2023/8/30 4:31:49

【数据结构】排序（插入、选择、交换、归并） -- 详解

一、排序的概念及其运用 1、排序的概念 排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 稳定性：假定在待排序的记录序列中，存在多个具有相同的关键字的记…...

编程日记 2023/8/30 4:30:48

游戏中的图片打包流程，免费的png打包plist工具，一款把若干资源图片拼接为一张大图的免费工具

手机游戏开发中，为了提高图片渲染性能，经常需要将小图片合并成一张大图进行渲染。如果手工来做的话就非常耗时。TexturePacker就是一款非常不错方便的处理工具。TexturePacker虽然非常优秀，但不是免费的。 对于打包流程，做游戏的…...

编程日记 2023/8/30 4:29:47

Springboot实现ENC加密

Springboot实现ENC加密 1、导入依赖2、配置加密秘钥&#xff08;盐&#xff09;3、获取并配置密文4、重启项目测试5、自定义前缀、后缀6、自定义加密方式 1、导入依赖 关于版本&#xff0c;需要根据spring-boot版本&#xff0c;自行修改 <dependency><groupId>co…...

编程日记 2023/8/30 4:28:45

nginx 托管vue项目配置

server {listen 80;server_name your_domain.com;location / {root /path/to/your/vue/project;index index.html;try_files $uri $uri/ /index.html;} }奇怪的现象,在vue路由中/会跳转到/abc/def&#xff0c;但如果直接输入/abc/def会显示404&#xff0c;添加 try_files $uri…...

编程日记 2023/8/30 4:27:44

Vue3中如何进行封装？—组件之间的传值

用了很久一段时间Vue3Ts了&#xff0c;工作中对一些常用的组件也进行了一些封装&#xff0c;这里对封装的一些方法进行一些简单的总结。 1.props传递 首先在主组件进行定义传值 <template><div>这里是主组件<common :first"first"></common&…...

编程日记 2023/8/30 4:26:42

实训笔记8.25

实训笔记8.25 8.25笔记一、Flume数据采集技术1.1 Flume实现数据采集主要借助Flume的组成架构1.2 Flume采集数据的时候&#xff0c;核心是编写Flume的采集脚本xxx.conf1.2.1 脚本文件主要由五部分组成 二、Flume案例实操2.1 采集一个网络端口的数据到控制台2.1.1 分析案例的组件…...

编程日记 2023/8/30 4:25:41

Vim 调用外部命令学习笔记

Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...

编程新知 2025/11/16 8:24:16

阿里云ACP云计算备考笔记 (5)——弹性伸缩

目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...

编程新知 2026/1/22 6:07:24

汽车生产虚拟实训中的技能提升与生产优化​

在制造业蓬勃发展的大背景下&#xff0c;虚拟教学实训宛如一颗璀璨的新星&#xff0c;正发挥着不可或缺且日益凸显的关键作用&#xff0c;源源不断地为企业的稳健前行与创新发展注入磅礴强大的动力。就以汽车制造企业这一极具代表性的行业主体为例&#xff0c;汽车生产线上各类…...

编程新知 2026/1/27 7:46:36

【配置 YOLOX 用于按目录分类的图片数据集】

现在的图标点选越来越多&#xff0c;如何一步解决&#xff0c;采用 YOLOX 目标检测模式则可以轻松解决 要在 YOLOX 中使用按目录分类的图片数据集&#xff08;每个目录代表一个类别&#xff0c;目录下是该类别的所有图片&#xff09;&#xff0c;你需要进行以下配置步骤&#x…...

编程新知 2026/1/30 4:52:56

WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章&#xff1f;AI自动生成&#xff0c;效率提升10倍&#xff01; 支持多语言、自动配图、定时发布&#xff0c;让内容创作更轻松&#xff01; AI内容生成 → 不想每天写文章&#xff1f;AI一键生成高质量内容&#xff01;多语言支持 → 跨境电商必备&am…...

编程新知 2026/1/30 17:24:20

零基础设计模式——行为型模式 - 责任链模式

第四部分&#xff1a;行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习&#xff01;行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。 核心思想&#xff1a;使多个对象都有机会处…...

编程新知 2026/1/31 9:33:18

Python Ovito统计金刚石结构数量

大家好，我是小马老师。 本文介绍python ovito方法统计金刚石结构的方法。 Ovito Identify diamond structure命令可以识别和统计金刚石结构，但是无法直接输出结构的变化情况。 本文使用python调用ovito包的方法，可以持续统计各步的金刚石结构，具体代码如下： from ovito…...

编程新知 2026/1/26 5:39:08

[免费]微信小程序问卷调查系统(SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的微信小程序问卷调查系统(SpringBoot后端Vue管理端)【论文源码SQL脚本】&#xff0c;分享下哈。 项目视频演示 【免费】微信小程序问卷调查系统(SpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibili 项…...

编程新知 2026/1/29 5:39:49

uniapp手机号一键登录保姆级教程（包含前端和后端）

目录 前置条件创建uniapp项目并关联uniClound云空间开启一键登录模块并开通一键登录服务编写云函数并上传部署获取手机号流程(第一种) 前端直接调用云函数获取手机号&#xff08;第三种&#xff09;后台调用云函数获取手机号 错误码常见问题 前置条件 手机安装有sim卡手机开启…...

编程新知 2026/1/27 2:03:36

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机&#xff0c;它可以执行Java字节码。Java虚拟机是Java平台的一部分&#xff0c;Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/9/13 18:20:34