Zookeeper选举Leader源码剖析
Zookeeper选举Leader源码剖析
leader选举流程
参数说明- myid: 节点的唯一标识，手动设置
- zxid: 当前节点中最大(新)的事务id
- epoch-logic-clock: 同一轮投票过程中的逻辑时钟值相同，每投完一次值会增加
leader选举流程- 默认投票给自己，优先选择zxid大的为leader，因为zxid大的节点数据是最新的(理论上事务id越大，说明数据量越多也就意味着比较新)，如果zxid一致，那么会选择myid大的为leader，当节点选票过半则选举成功
leader选举核心步骤
-
源码大致流程-
初始化netty通信，客户端发送命令立刻监听到
-
初始化内存数据库对象、初始化服务连接工厂等一些信息
- 启动服务节点
- 加载文件数据到内存
- 启动netty服务
- 初始化集群选举leader
- 启动一个线程进行选举监听
- 监听到选票，将选票丢到recvQueue队列中
- 启动服务节点
-
启动接收选票线程、发送选票线程进行监听，都去队列中接受和发送选票
-
启动QuorumPeer线程执行run方法，根据节点状态判断
- leading: socket监听follower节点，初始化LeaerZookeeperServer数据，同步数据到从节点，定时ping到follower节点请求保持长连接
- follower: 与leader建立发送socket连接，注册自己到leader、同步leader数据、自旋接收leader同步数据，如果leader宕了，在finally中将自己的状态改为looking，进入下一轮自旋选举
- looking: 节点启动后的默认状态，选举周期+1，初始化选票，默认选自己，发送选票到sendQueue队列，同时还会不断地从recvQueue队列拿选票进行选举
- leading: socket监听follower节点，初始化LeaerZookeeperServer数据，同步数据到从节点，定时ping到follower节点请求保持长连接
-
-
问题: ZK的选举机制为什么存在大量自旋，如同步节点数据、选举流程，如果长时间运行会不会导致CPU资源损耗过大- 对于长时间自旋毋庸置疑肯定会导致CPU资源紧张，但是想达到动态监听数据变化就得牺牲一定的CPU性能，并且这样也能保证数据的强一致性，也能保证节点选举的实时性
- 倘若想要优化ZK，可以引入Redis/MQ基于发布/订阅模式进行处理，但是这样会造成引入三方中间件导致复杂度提升
相关文章：
Zookeeper选举Leader源码剖析
Zookeeper选举Leader源码剖析 leader选举流程 参数说明 myid: 节点的唯一标识，手动设置zxid: 当前节点中最大(新)的事务idepoch-logic-clock: 同一轮投票过程中的逻辑时钟值相同，每投完一次值会增加 leader选举流程 默认投票给自己，优先选择…...
Redis（十六）缓存预热+缓存雪崩+缓存击穿+缓存穿透
文章目录 面试题缓存预热缓存雪崩解决方案 缓存穿透解决方案 缓存击穿解决方案案例：高并发聚划算业务 总结表格 面试题 缓存预热、雪崩、穿透、击穿分别是什么?你遇到过那几个情况?缓存预热你是怎么做的?如何避免或者减少缓存雪崩?穿透和击穿有什么区别?他两是…...
[已解决]npm淘宝镜像最新官方指引（2023.08.31）
最新的配置淘宝镜像的淘宝官方提供的方法 npm config set registry https://registry.npmmirror.com原来的 registry.npm.taobao.org 已替换为 registry.npmmirror.com ，当点击 registry.npm.taobao.org 会默认跳转到 registry.npmmirror.com 如果你想将npm的下载…...
ffmpeg之avformat_alloc_output_context2
函数原型： int avformat_alloc_output_context2(AVFormatContext **ctx, const AVOutputFormat *oformat,const char *format_name, const char *filename); 功能： 根据format_name或者filename或者oformat查找输出类型，并且初始化ctx结构。 参数： ctx：AVFormatContext…...
GitLab代码库提交量统计工具
1.说明 统计公司所有项目的提交情况，可指定分支和时间段，返回每个人的提交新增数、删除数和总数。 2.API 文档地址：http://公司gitlab域名/help/api/README.md 项目列表查询 返回示例： [{"id": 1, //项目ID"http…...
Python爬虫技术详解：从基础到高级应用，实战与应对反爬虫策略【第93篇—Python爬虫】
前言 随着互联网的快速发展，网络上的信息爆炸式增长，而爬虫技术成为了获取和处理大量数据的重要手段之一。在Python中，requests模块是一个强大而灵活的工具，用于发送HTTP请求，获取网页内容。本文将介绍requests模块的…...
关于TypeReference的使用
关于TypeReference的使用 在项目中,有遇到TypeReference的使用,其主要在字符串转对象过程中,对于序列化和反序列化中也有效果,将字符串转换成自定义对象. 1 说明 以常见为例,在com.alibaba.fastjson包下面的TypeReference类,是指Type的Reference，表示某类型的一个指…...
阿里大文娱前端一面
引言 我目前本科大四，正在春招找前端，有大厂内推的友友可以聊一聊，球球给孩子的机会吧。 我整理了一份10w字的前端技术文档：https://qx8wba2yxsl.feishu.cn/docx/Vb5Zdq7CGoPAsZxMLztc53E1n0k?fromfrom_copylink，对…...
Clickhouse系列之连接工具连接、数据类型和数据库
基本操作 一、使用连接工具连接二、数据类型1、数字类型IntFloatDecimal 2、字符串类型StringFixedStringUUID 3、时间类型DateTimeDateTime64Date 4、复合类型ArrayEnum 5、特殊类型Nullable 三、数据库 一、使用连接工具连接 上一篇介绍了clickhouse的命令行登录，…...
【深入理解设计模式】原型设计模式
原型设计模式 原型设计模式（Prototype Pattern）是一种创建型设计模式，它允许通过复制已有对象来创建新对象，而无需直接依赖它们的具体类。这种模式通常用于需要频繁创建相似对象的场景，以避免昂贵的创建操作或初始化过…...
Python算法题集_图论(课程表)
Python算法题集_课程表 题207：课程表1. 示例说明2. 题目解析- 题意分解- 优化思路- 测量工具 3. 代码展开1) 标准求解【循环递归全算】2) 改进版一【循环递归缓存】3) 改进版二【循环递归缓存反向计算】4) 改进版三【迭代剥离计数器检测】 4. 最优算法5. 相关资源 本…...
视频评论挖掘软件|抖音视频下载工具
针对抖音视频下载的需求，我们开发了一款功能强大的工具，旨在解决用户在获取抖音视频时需要逐个复制链接、下载的繁琐问题。我们希望用户能够通过简单的关键词搜索，实现自动批量抓取视频，并根据需要进行选择性批量下载。因此&#…...
Linux学习方法-框架学习法——Linux驱动架构的演进
配套视频学习链接：https://www.bilibili.com/video/BV1HE411w7by?p4&vd_sourced488bc722b90657aaa06a1e8647eddfc 目录 Linux驱动演进的过程 Linux驱动的原始架构(Linux V2.4) 平台总线架构(platform) Linux设备树 Linux驱动演进的趋势 Linux驱动演进的过程…...
Spring Boot基础面试问题（一）
上篇文章中10个Spring Boot面试问题的标准答案： 什么是Spring Boot？它与Spring框架有什么区别？ 标准回答：Spring Boot是基于Spring框架的快速开发框架，它简化了Spring应用程序的搭建和配置过程，提供了一套自…...
电路设计（28）——交通灯控制器的multisim仿真
1.功能设定 南北、东西两道的红灯时间、绿灯时间均为24S，数码管显示倒计时。在绿灯的最后5S内，黄灯闪烁。有夜间模式：按下按键进入夜间模式。在夜间模式下，数码管显示计数最大值，两个方向的黄灯不停闪烁。 2.电路设计 …...
【Docker】免费使用的腾讯云容器镜像服务
需要云服务器等云产品来学习Linux可以移步/-->腾讯云<--/官网，轻量型云服务器低至112元/年，新用户首次下单享超低折扣。 目录 1、设置密码 2、登录实例（sudo docker login xxxxxx） 3、新建命名空间（每个命名空…...
如何让qml使用opengl es
要让 QML 使用 OpenGL ES，您需要确保项目配置正确，并在应用程序中使用 QSurfaceFormat 来设置 OpenGL ES 渲染。 以下是一些步骤来配置 QML 使用 OpenGL ES： 1、项目配置：在您的项目配置文件（例如 .pro 文件…...
金航标电子位于广西柳州鹿寨县天线生产基地于大年正月初九开工了！！
金航标电子位于广西柳州鹿寨县天线生产基地于大年正月初九开工了！！！金航标kinghelm（ http://www.kinghelm.com.cn ）总部位于中国深圳市，兼顾技术、成本、管理、效率和可持续发展。东莞塘厦实验室全电波暗…...
FlinkCDC详解
1、FlinkCDC是什么 1.1 CDC是什么 CDC是Chanage Data Capture（数据变更捕获）的简称。其核心原理就是监测并捕获数据库的变动（例如增删改），将这些变更按照发生顺序捕获，将捕获到的数据，写入数据…...
力扣代码学习日记六
Problem: 66. 加一 思路 给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。 最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。 你可以假设除了整数 0 之外，这个整数不会以零开头。 示例 1： 输…...
[特殊字符] 智能合约中的数据是如何在区块链中保持一致的？
🧠 智能合约中的数据是如何在区块链中保持一致的？ 为什么所有区块链节点都能得出相同结果？合约调用这么复杂，状态真能保持一致吗？本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里…...
大学生职业发展与就业创业指导教学评价
这里是引用 作为软工2203/2204班的学生，我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要，而您认真负责的教学态度，让课程的每一部分都充满了实用价值。 尤其让我…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）
目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...
初学 pytest 记录
安装 pip install pytest用例可以是函数也可以是类中的方法 def test_func():print()class TestAdd: # def __init__(self): 在 pytest 中不可以使用__init__方法 # self.cc 12345 pytest.mark.api def test_str(self):res add(1, 2)assert res 12def test_int(self):r…...
scikit-learn机器学习
# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: # Also add the following code, # so that every time the environment (kernel) starts, # just run the following code: import sys sys.path.append(/home/aistudio/external-libraries)机…...
毫米波雷达基础理论（3D+4D）
3D、4D毫米波雷达基础知识及厂商选型 PreView : https://mp.weixin.qq.com/s/bQkju4r6med7I3TBGJI_bQ 1. FMCW毫米波雷达基础知识 主要参考博文： 一文入门汽车毫米波雷达基本原理 ：https://mp.weixin.qq.com/s/_EN7A5lKcz2Eh8dLnjE19w 毫米波雷达基础…...
tauri项目，如何在rust端读取电脑环境变量
如果想在前端通过调用来获取环境变量的值，可以通过标准的依赖： std::env::var(name).ok() 想在前端通过调用来获取，可以写一个command函数： #[tauri::command] pub fn get_env_var(name: String) -> Result<String, Stri…...
Python 训练营打卡 Day 47
注意力热力图可视化 在day 46代码的基础上，对比不同卷积层热力图可视化的结果 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader import matplotlib.pypl…...
ubuntu系统文件误删(/lib/x86_64-linux-gnu/libc.so.6)修复方案 [成功解决]
报错信息：libc.so.6: cannot open shared object file: No such file or directory： #ls, ln, sudo...命令都不能用 error while loading shared libraries: libc.so.6: cannot open shared object file: No such file or directory重启后报错信息&…...