当前位置： 首页 > news >正文

Flink的checkpoint是怎么实现的?

news 2026/2/8 16:29:15

分析&回答

Checkpoint介绍

Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport algorithm”算法。

Barriers

flink 分布式快照的核心元素是 stream barriers,这些barriers被注入到流中，并作为流的一部分，随着流流动。barriers将数据流的记录分为进入当前快照的记录和进入下一个快照的记录，每个barriers都携带了快照的ID，快照的数据在barriers的前面推送。barriers非常轻量级，不会中断流的流动。同一时间，会有多个checkpoint在并发进行。

barrier被注入到并行流的数据源，注入快照n (称为Sn)的barriers 是数据源中个一个位置，在kafka 就是某个分区的最后一条记录的offset。这个位置Sn后续会汇报给JM的checkpoint coordinator（协调checkpoint功能）。 barrier随着流向下游流动，当中间的operator从他所有的输入流中收到checkpoint n 的barrier时，该operator会将barrier发送给他的下游operator。一旦到达DAG的末端，sink会将这条流的state handle汇报JM的checkpoint coordinator，当sink从他所有的输入流中接收到了checkpoint n barrier ，Jm 会返回一个completed checkpoint meta, 然后checkpoint 标记为完成，状态存储到相应的state backend中。

barrier 对齐

当一个opeator有多个输入流的时候，checkpoint barrier n 会进行对齐，就是已到达的会先缓存到buffer里等待其他未到达的，一旦所有流都到达，则会向下游广播，exactly-once 就是利用这一特性实现的，at least once 因为不会进行对齐，就会导致有的数据被重复处理。

checkpoint 数据结构

当一个operator接收到所有上游发送的 checkpoint n barrier 向下游发送之前，会对状态进行一次快照，将offset state 等值保存起来，默认情况下是保存在Jm的内存中，由于可能会比较大，可以存在状态后端中，生成中建议放hdfs.

到最终checkpoint 快照的完整数据结构类似与一个表格，每个opeator经过处理后填写属于自己的那部分，最后会将其存到state backend中供failover时使用。

反思&扩展

Flink 的容错机制(checkpoint) 内部实现

每个需要Checkpoint的应用在启动时,Flink的JobManager为其创建一个 CheckpointCoordinator(检查点协调器),CheckpointCoordinator全权负责本应用的快照制作。

CheckpointCoordinator(检查点协调器),CheckpointCoordinator全权负责本应用的快照制作。

CheckpointCoordinator(检查点协调器) 周期性的向该流应用的所有source算子发送 barrier(屏障)。

当某个source算子收到一个barrier时,便暂停数据处理过程,然后将自己的当前状态制作成快照,并保存到指定的持久化存储中,最后向CheckpointCoordinator报告自己快照制作情况,同时向自身所有下游算子广播该barrier,恢复数据处理

下游算子收到barrier之后,会暂停自己的数据处理过程,然后将自身的相关状态制作成快照,并保存到指定的持久化存储中,最后向CheckpointCoordinator报告自身快照情况,同时向自身所有下游算子广播该barrier,恢复数据处理。

每个算子按照步骤3不断制作快照并向下游广播,直到最后barrier传递到sink算子,快照制作完成。

当CheckpointCoordinator收到所有算子的报告之后,认为该周期的快照制作成功; 否则,如果在规定的时间内没有收到所有算子的报告,则认为本周期快照制作失败。

RocksDB实现增量checkpoint原理:

state backend中提供了一种RocksDb存储checkpoint ,它是Flink提供的唯一可以实现增量checkpoint的方法。原理是每次生成checkpoint是会生成sst文件（不会再修改了），会和之前的文件进行对比，每次上传新增的sst文件即可,大概就是这样。

喵呜面试助手：一站式解决面试问题，你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享！

相关文章：

Flink的checkpoint是怎么实现的?

分析&回答 Checkpoint介绍 Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport alg…...

编程日记 2023/9/3 0:23:38

ubuntu上安装nginx

这篇文章主要介绍怎么在ubuntu上安装nginx服务器，并进行一些简单的配置。 第一步：准备好一台ubuntu操作系统的虚拟机 注意：如果你还没有安装好ubuntu，个人推荐阅读以下文章完成unbutu安装，vm的版本不用刻意安装文章中…...

编程日记 2023/9/3 0:22:37

9. 微积分 - 导数

文章目录 导数求导实例代码演示：迭代法求解二次函数最小值阶Hi, 大家好。我是茶桁。 我们终于结束了极限和连续的折磨，开启了新的篇章。 不过不要以为我们后面的就会很容易，只是相对来说， 没有那么绕而已。 那么，我们今天开始学习「导数」。 导数 在之前的导论，也就是…...

编程日记 2023/9/3 0:21:36

滑动窗口系列1-达标子数组

#达标子数组# 求达标子数组的数量 * 题目：给定一个数组，求满足子数组中最大值-最小值小于等于某个数的子数组的数量 * 例如[0,1,2,3]中求子数组中最大值-最小值小于等于 2的子数组的数量 * 结果为9,因为满足条件的只有[0,0] [0,1] [0,2] [1,1] [1,2] [1…...

编程日记 2023/9/3 0:20:34

电视显示技术及价格成本对比（2023年）

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/zaibeijixing/article/details/132461068 ———————————————— 截止到2023年&#xff…...

编程日记 2023/9/3 0:19:33

浅谈 Pytest+HttpRunner 如何展开接口测试！

软件测试有多种多样的方法和技术，可以从不同角度对它们进行分类。其中，根据软件生命周期，针对不同的测试对象与目标，可将测试过程分为 4 个阶段：单元测试、集成测试、系统测试和验收测试。本文着重介绍了如何借用 pyte…...

编程日记 2023/9/3 0:18:32

vue自定义事件 div 拖拽方法缩小

在main.js 引用 // 引入拖动js import dragMove from "./utils/dragMove.js" 创建 drawmove.js export default (app) > {app.directive(dragMove, (el, binding) > {const DragVindow el.querySelector(binding.value.DragVindow)// 按下鼠标处理事件con…...

编程日记 2023/9/3 0:17:30

使用实体解析和图形神经网络进行欺诈检测

图形神经网络的表示形式（作者使用必应图像创建器生成的图像） 一、说明 对于金融、电子商务和其他相关行业来说，在线欺诈是一个日益严重的问题。为了应对这种威胁，组织使用基于机器学习和行为分析的欺诈检测机制。这些技术能够实时…...

编程日记 2023/9/3 0:16:28

vue中axios请求篇

vue中如何发起请求? 利用axios来发起请求，但是前期需要配置 首先安装axios 可以使用npm、yarn等进行安装 npm安装方式 npm install axios -sava //在项目文件夹中打开cmd或者终端进行安装依赖 yarn安装方式 yarn add axios 引入axios。我一般是在src下创建一个u…...

编程日记 2023/9/3 0:15:27

Springboot2.0 上传图片 jar包导出启动（第二章）

目录 一，目录文件结构讲解二，文件上传实战三，jar包方式运行web项目的文件上传和访问处理（核心知识）最后 一，目录文件结构讲解 简介：讲解SpringBoot目录文件结构和官方推荐的目录规范 1、目录讲解…...

编程日记 2023/9/3 0:14:25

添加YDNS免费的ipv6动态域名解析

背景 又到了一年一度的dns域名到期，寻找替代了，前几年用了阿里、华为的免费域名，支持了几个搭建在NAS上的微服务；一旦涉及到域名续费，价格就比首年上去了不少，所以，打算找个长期的免费域名。 搜…...

编程日记 2023/9/3 0:13:24

爬虫异常处理之如何处理连接丢失和数据存储异常

在爬虫开发过程中，我们可能会遇到各种异常情况，如连接丢失、数据存储异常等。本文将介绍如何处理这些异常，并提供具体的解决代码。我们将以Python语言为例，使用requests库进行网络请求和sqlite3库进行数据存储。 1. 处理连接丢失 …...

编程日记 2023/9/3 0:12:23

KVM虚拟化ubuntu

KVM（Kernel-based Virtual Machine）是一种基于Linux内核的虚拟化技术，它将Linux内核作为虚拟机的底层操作系统，利用硬件虚拟化支持创建和管理虚拟机。KVM虚拟化技术被广泛应用于云计算、虚拟化服务器、虚拟化桌面等场景。 KVM虚拟…...

编程日记 2023/9/3 0:11:22

模拟电子技术基础学习笔记三 PN结

采用不周的掺杂工艺，将P型半导体与N型半导体制作在同一块硅片上，在它们的交界面就形成PN结。 扩散运动 物质总是从浓度高的地方向浓度低的地方运动，这种由于浓度差而产生的运动称为扩散运动。 空间电荷区 - 耗尽层 漂移运动 在电场力的作…...

编程日记 2023/9/3 0:10:21

java基础-----第七篇

系列文章目录 文章目录 系列文章目录一、什么是字节码？采用字节码的好处是什么？1.java中的编译器和解释器：2.采用字节码的好处：二、Java中的异常体系一、什么是字节码？采用字节码的好处是什么？ 1.java中的编译器和解释器： Java中引入了虚拟机的概念，即在机器和编译程…...

编程日记 2023/9/3 0:09:19

useEffect 不可忽视的 cleanup 函数

在 react 开发中， useEffect 是我们经常会使用到的钩子，一个基础的例子如下： useEffect(() > {// some code here// cleanup 函数return () > {doSomething()} }, [dependencies])上述代码中， cleanup 函数的执行时机有如下…...

编程日记 2023/9/3 0:08:19

vue3：使用：批量删除功能

场景：vue中使用el-table,常需要记住上一页所勾选的数据，批量删除操作，或者弹窗分页勾选，进行第一页勾选，在调后端接口选择第二页勾选其他数据。 1、element-ui 的table表格可以轻松实现多选的功能，只要在表…...

编程日记 2023/9/3 0:07:17

Scala中的样例类和样例对象和JAVA存根类

Scala中的样例类和样例对象 在 Scala 中，样例类（case class）和样例对象（case object）都是用于定义不可变数据类型的特殊类和对象。它们被广泛用于模式匹配、代数数据类型（Algebraic Data Types&#xff09…...

编程日记 2023/9/3 0:06:16

【0218】当SIGQUIT kill掉stats collector后，stats collector如何保存最终统计数据

1. stats collector可被哪些信号给kill？ stats collector进程的主体函数是 PgstatCollectorMain()，该函数内部完成了stats collector进程的信号注册、现有统计文件读取、消息处理等任务。 忽略通常与postmaster中的某些操作绑定的所有信号，SIGHUP和SIGQUIT除外。 注意，我们…...

编程日记 2023/9/3 0:05:15

httplib 与 json.hpp 结合示例

httplib 与 json.hpp 结合示例 1、使用POST 接口，发送 登陆 请求 客户端发送 {nlohmann::json jsonOfCollectionInfo;jsonOfCollectionInfo["user_id"] "zhang";jsonOfCollectionInfo["password"] "123456";httplib::…...

编程日记 2023/9/3 0:04:14

《通信之道——从微积分到 5G》读书总结

第1章 绪 论 1.1 这是一本什么样的书 通信技术，说到底就是数学。 那些最基础、最本质的部分。 1.2 什么是通信 通信 发送方 接收方 承载信息的信号 解调出其中承载的信息 信息在发送方那里被加工成信号（调制） 把信息从信号中抽取出来&am…...

编程新知 2026/2/7 11:01:56

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

佰力博科技与您探讨热释电测量的几种方法

热释电的测量主要涉及热释电系数的测定，这是表征热释电材料性能的重要参数。热释电系数的测量方法主要包括静态法、动态法和积分电荷法。其中，积分电荷法最为常用，其原理是通过测量在电容器上积累的热释电电荷，从而确定热释电系数…...

编程新知 2026/1/23 11:53:19

SiFli 52把Imagie图片，Font字体资源放在指定位置，编译成指定img.bin和font.bin的问题

分区配置 (ptab.json) img 属性介绍： img 属性指定分区存放的 image 名称，指定的 image 名称必须是当前工程生成的 binary 。 如果 binary 有多个文件，则以 proj_name:binary_name 格式指定文件名， proj_name 为工程 名&…...

编程新知 2026/1/23 10:51:19

永磁同步电机无速度算法--基于卡尔曼滤波器的滑模观测器

一、原理介绍 传统滑模观测器采用如下结构： 传统SMO中LPF会带来相位延迟和幅值衰减，并且需要额外的相位补偿。 采用扩展卡尔曼滤波器代替常用低通滤波器(LPF)，可以去除高次谐波，并且不用相位补偿就可以获得一个误差较小的转子位…...

编程新知 2026/2/7 9:27:22

Leetcode33（ 搜索旋转排序数组）

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

编程新知 2026/1/17 19:18:25

FFmpeg avformat_open_input函数分析

函数内部的总体流程如下&#xff1a; avformat_open_input 精简后的代码如下&#xff1a; int avformat_open_input(AVFormatContext **ps, const char *filename,ff_const59 AVInputFormat *fmt, AVDictionary **options) {AVFormatContext *s *ps;int i, ret 0;AVDictio…...

编程新知 2026/2/6 5:56:22

拟合问题处理

在机器学习中&#xff0c;核心任务通常围绕模型训练和性能提升展开&#xff0c;但你提到的 “优化训练数据解决过拟合” 和 “提升泛化性能解决欠拟合” 需要结合更准确的概念进行梳理。以下是对机器学习核心任务的系统复习和修正&#xff1a; 一、机器学习的核心任务框架 机…...

编程新知 2025/9/6 11:47:54

欢乐熊大话蓝牙知识17:多连接 BLE 怎么设计服务不会乱？分层思维来救场！

多连接 BLE 怎么设计服务不会乱&#xff1f;分层思维来救场&#xff01; 作者按&#xff1a; 你是不是也遇到过 BLE 多连接时&#xff0c;调试现场像网吧“掉线风暴”&#xff1f; 温度传感器连上了&#xff0c;心率带丢了&#xff1b;一边 OTA 更新&#xff0c;一边通知卡壳。…...

编程新知 2026/2/7 11:26:09

基于Python的气象数据分析及可视化研究

目录 一.&#x1f981;前言二.&#x1f981;开源代码与组件使用情况说明三.&#x1f981;核心功能1. ✅算法设计2. ✅PyEcharts库3. ✅Flask框架4. ✅爬虫5. ✅部署项目 四.&#x1f981;演示效果1. 管理员模块1.1 用户管理 2. 用户模块2.1 登录系统2.2 查看实时数据2.3 查看天…...

编程新知 2026/2/6 1:10:23