当前位置： 首页 > news >正文

网站备案注销查询/网站免费制作

news 文章来源：https://blog.csdn.net/jjclove/article/details/127406818 2025/3/15 14:42:37
网站备案注销查询,网站免费制作,Wordpress 启动邮件,自己如何做团购网站分析&回答 Checkpoint介绍 Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport alg…

分析&回答

Checkpoint介绍

Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport algorithm”算法。

Barriers

flink 分布式快照的核心元素是 stream barriers,这些barriers被注入到流中，并作为流的一部分，随着流流动。barriers将数据流的记录分为进入当前快照的记录和进入下一个快照的记录，每个barriers都携带了快照的ID，快照的数据在barriers的前面推送。barriers非常轻量级，不会中断流的流动。同一时间，会有多个checkpoint在并发进行。

barrier被注入到并行流的数据源，注入快照n (称为Sn)的barriers 是数据源中个一个位置，在kafka 就是某个分区的最后一条记录的offset。这个位置Sn后续会汇报给JM的checkpoint coordinator（协调checkpoint功能）。 barrier随着流向下游流动，当中间的operator从他所有的输入流中收到checkpoint n 的barrier时，该operator会将barrier发送给他的下游operator。一旦到达DAG的末端，sink会将这条流的state handle汇报JM的checkpoint coordinator，当sink从他所有的输入流中接收到了checkpoint n barrier ，Jm 会返回一个completed checkpoint meta, 然后checkpoint 标记为完成，状态存储到相应的state backend中。

barrier 对齐

当一个opeator有多个输入流的时候，checkpoint barrier n 会进行对齐，就是已到达的会先缓存到buffer里等待其他未到达的，一旦所有流都到达，则会向下游广播，exactly-once 就是利用这一特性实现的，at least once 因为不会进行对齐，就会导致有的数据被重复处理。

checkpoint 数据结构

当一个operator接收到所有上游发送的 checkpoint n barrier 向下游发送之前，会对状态进行一次快照，将offset state 等值保存起来，默认情况下是保存在Jm的内存中，由于可能会比较大，可以存在状态后端中，生成中建议放hdfs.

到最终checkpoint 快照的完整数据结构类似与一个表格，每个opeator经过处理后填写属于自己的那部分，最后会将其存到state backend中供failover时使用。

反思&扩展

Flink 的容错机制(checkpoint) 内部实现

每个需要Checkpoint的应用在启动时,Flink的JobManager为其创建一个 CheckpointCoordinator(检查点协调器),CheckpointCoordinator全权负责本应用的快照制作。

CheckpointCoordinator(检查点协调器),CheckpointCoordinator全权负责本应用的快照制作。

CheckpointCoordinator(检查点协调器) 周期性的向该流应用的所有source算子发送 barrier(屏障)。

当某个source算子收到一个barrier时,便暂停数据处理过程,然后将自己的当前状态制作成快照,并保存到指定的持久化存储中,最后向CheckpointCoordinator报告自己快照制作情况,同时向自身所有下游算子广播该barrier,恢复数据处理

下游算子收到barrier之后,会暂停自己的数据处理过程,然后将自身的相关状态制作成快照,并保存到指定的持久化存储中,最后向CheckpointCoordinator报告自身快照情况,同时向自身所有下游算子广播该barrier,恢复数据处理。

每个算子按照步骤3不断制作快照并向下游广播,直到最后barrier传递到sink算子,快照制作完成。

当CheckpointCoordinator收到所有算子的报告之后,认为该周期的快照制作成功; 否则,如果在规定的时间内没有收到所有算子的报告,则认为本周期快照制作失败。

RocksDB实现增量checkpoint原理:

state backend中提供了一种RocksDb存储checkpoint ,它是Flink提供的唯一可以实现增量checkpoint的方法。原理是每次生成checkpoint是会生成sst文件（不会再修改了），会和之前的文件进行对比，每次上传新增的sst文件即可,大概就是这样。

喵呜面试助手：一站式解决面试问题，你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享！

相关文章：

Flink的checkpoint是怎么实现的?

分析&回答 Checkpoint介绍 Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前的某一状态,保证应用流图状态的一致性。Flink的Checkpoint机制原理来自“Chandy-Lamport alg…...

编程日记 2023/9/3 0:23:38

ubuntu上安装nginx

这篇文章主要介绍怎么在ubuntu上安装nginx服务器，并进行一些简单的配置。 第一步：准备好一台ubuntu操作系统的虚拟机 注意：如果你还没有安装好ubuntu，个人推荐阅读以下文章完成unbutu安装，vm的版本不用刻意安装文章中…...

编程日记 2023/9/3 0:22:37

9. 微积分 - 导数

文章目录 导数求导实例代码演示：迭代法求解二次函数最小值阶Hi, 大家好。我是茶桁。 我们终于结束了极限和连续的折磨，开启了新的篇章。 不过不要以为我们后面的就会很容易，只是相对来说， 没有那么绕而已。 那么，我们今天开始学习「导数」。 导数 在之前的导论，也就是…...

编程日记 2023/9/3 0:21:36

滑动窗口系列1-达标子数组

#达标子数组# 求达标子数组的数量 * 题目：给定一个数组，求满足子数组中最大值-最小值小于等于某个数的子数组的数量 * 例如[0,1,2,3]中求子数组中最大值-最小值小于等于 2的子数组的数量 * 结果为9,因为满足条件的只有[0,0] [0,1] [0,2] [1,1] [1,2] [1…...

编程日记 2023/9/3 0:20:34

电视显示技术及价格成本对比（2023年）

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/zaibeijixing/article/details/132461068 ———————————————— 截止到2023年&#xff…...

编程日记 2023/9/3 0:19:33

浅谈 Pytest+HttpRunner 如何展开接口测试！

软件测试有多种多样的方法和技术，可以从不同角度对它们进行分类。其中，根据软件生命周期，针对不同的测试对象与目标，可将测试过程分为 4 个阶段：单元测试、集成测试、系统测试和验收测试。本文着重介绍了如何借用 pyte…...

编程日记 2023/9/3 0:18:32

vue自定义事件 div 拖拽方法缩小

在main.js 引用 // 引入拖动js import dragMove from "./utils/dragMove.js" 创建 drawmove.js export default (app) > {app.directive(dragMove, (el, binding) > {const DragVindow el.querySelector(binding.value.DragVindow)// 按下鼠标处理事件con…...

编程日记 2023/9/3 0:17:30

使用实体解析和图形神经网络进行欺诈检测

图形神经网络的表示形式（作者使用必应图像创建器生成的图像） 一、说明 对于金融、电子商务和其他相关行业来说，在线欺诈是一个日益严重的问题。为了应对这种威胁，组织使用基于机器学习和行为分析的欺诈检测机制。这些技术能够实时…...

编程日记 2023/9/3 0:16:28

vue中axios请求篇

vue中如何发起请求? 利用axios来发起请求，但是前期需要配置 首先安装axios 可以使用npm、yarn等进行安装 npm安装方式 npm install axios -sava //在项目文件夹中打开cmd或者终端进行安装依赖 yarn安装方式 yarn add axios 引入axios。我一般是在src下创建一个u…...

编程日记 2023/9/3 0:15:27

Springboot2.0 上传图片 jar包导出启动（第二章）

目录 一，目录文件结构讲解二，文件上传实战三，jar包方式运行web项目的文件上传和访问处理（核心知识）最后 一，目录文件结构讲解 简介：讲解SpringBoot目录文件结构和官方推荐的目录规范 1、目录讲解…...

编程日记 2023/9/3 0:14:25

添加YDNS免费的ipv6动态域名解析

背景 又到了一年一度的dns域名到期，寻找替代了，前几年用了阿里、华为的免费域名，支持了几个搭建在NAS上的微服务；一旦涉及到域名续费，价格就比首年上去了不少，所以，打算找个长期的免费域名。 搜…...

编程日记 2023/9/3 0:13:24

爬虫异常处理之如何处理连接丢失和数据存储异常

在爬虫开发过程中，我们可能会遇到各种异常情况，如连接丢失、数据存储异常等。本文将介绍如何处理这些异常，并提供具体的解决代码。我们将以Python语言为例，使用requests库进行网络请求和sqlite3库进行数据存储。 1. 处理连接丢失 …...

编程日记 2023/9/3 0:12:23

KVM虚拟化ubuntu

KVM（Kernel-based Virtual Machine）是一种基于Linux内核的虚拟化技术，它将Linux内核作为虚拟机的底层操作系统，利用硬件虚拟化支持创建和管理虚拟机。KVM虚拟化技术被广泛应用于云计算、虚拟化服务器、虚拟化桌面等场景。 KVM虚拟…...

编程日记 2023/9/3 0:11:22

模拟电子技术基础学习笔记三 PN结

采用不周的掺杂工艺，将P型半导体与N型半导体制作在同一块硅片上，在它们的交界面就形成PN结。 扩散运动 物质总是从浓度高的地方向浓度低的地方运动，这种由于浓度差而产生的运动称为扩散运动。 空间电荷区 - 耗尽层 漂移运动 在电场力的作…...

编程日记 2023/9/3 0:10:21

java基础-----第七篇

系列文章目录 文章目录 系列文章目录一、什么是字节码？采用字节码的好处是什么？1.java中的编译器和解释器：2.采用字节码的好处：二、Java中的异常体系一、什么是字节码？采用字节码的好处是什么？ 1.java中的编译器和解释器： Java中引入了虚拟机的概念，即在机器和编译程…...

编程日记 2023/9/3 0:09:19

useEffect 不可忽视的 cleanup 函数

在 react 开发中， useEffect 是我们经常会使用到的钩子，一个基础的例子如下： useEffect(() > {// some code here// cleanup 函数return () > {doSomething()} }, [dependencies])上述代码中， cleanup 函数的执行时机有如下…...

编程日记 2023/9/3 0:08:19

vue3：使用：批量删除功能

场景：vue中使用el-table,常需要记住上一页所勾选的数据，批量删除操作，或者弹窗分页勾选，进行第一页勾选，在调后端接口选择第二页勾选其他数据。 1、element-ui 的table表格可以轻松实现多选的功能，只要在表…...

编程日记 2023/9/3 0:07:17

Scala中的样例类和样例对象和JAVA存根类

Scala中的样例类和样例对象 在 Scala 中，样例类（case class）和样例对象（case object）都是用于定义不可变数据类型的特殊类和对象。它们被广泛用于模式匹配、代数数据类型（Algebraic Data Types&#xff09…...

编程日记 2023/9/3 0:06:16

【0218】当SIGQUIT kill掉stats collector后，stats collector如何保存最终统计数据

1. stats collector可被哪些信号给kill？ stats collector进程的主体函数是 PgstatCollectorMain()，该函数内部完成了stats collector进程的信号注册、现有统计文件读取、消息处理等任务。 忽略通常与postmaster中的某些操作绑定的所有信号，SIGHUP和SIGQUIT除外。 注意，我们…...

编程日记 2023/9/3 0:05:15

httplib 与 json.hpp 结合示例

httplib 与 json.hpp 结合示例 1、使用POST 接口，发送 登陆 请求 客户端发送 {nlohmann::json jsonOfCollectionInfo;jsonOfCollectionInfo["user_id"] "zhang";jsonOfCollectionInfo["password"] "123456";httplib::…...

编程日记 2023/9/3 0:04:14

RK3288安卓7.1开机上电到显示logo需要在3s内完成

需求： 从上电到开始开机logo有一段黑屏时间，这个黑屏时间大概在6s左右，给客户体验很不好，现在需要将这段黑屏时间缩短到2-3s左右 思路： 因为只需要早点显示logo，其实整体从上电到开机动画到安卓系统启动整体…...

编程日记 2023/9/3 0:03:13

Maven之hibernate-validator 高版本问题

hibernate-validator 高版本问题 hibernate-validator 的高版本（邮箱注解）依赖于高版本的 el-api，tomcat 8 的 el-api 是 3.0，满足需要。但是 tomcat 7 的 el-api 只有 2.2，不满足其要求。 解决办法有 2 种&#xff…...

编程日记 2023/9/3 0:02:12

C++--动态规划其他问题

1.一和零 力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台 给你一个二进制字符串数组 strs 和两个整数 m 和 n 。 请你找出并返回 strs 的最大子集的长度，该子集中 最多 有 m 个 0 和 n 个 1 。 如果 x 的所有元素也是 y 的元素&#xff0…...

编程日记 2023/9/3 0:01:10

PostgreSQL 查询语句大全

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…...

编程日记 2023/9/3 0:00:10

扫盲：常用NoSQL数据库

前言 关系型数据库产品很多，如 MySQL、Oracle、Microsoft SQL Sever 等，但它们的基本模型都是关系型数据模型。 非关系型数据库又称为：NoSQL ，没有统一的模型，而且是非关系型的。 常见的 NoSQL 数据库包括键值数据库、…...

编程日记 2023/9/2 23:59:08

MPI之数据打包和解包

MPI_Pack 和 MPI_Unpack 它们可以将源数据打包成二进制格式以便于传输，或者将二进制格式的数据解包成目标数据。这对函数通常用于在 MPI 应用程序中进行异构系统间的通信，即两个系统之间使用不同的二进制格式进行交互通信。 打包（序列化&…...

编程日记 2023/9/2 23:58:07

9.2作业

QT实现闹钟 widget.h #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include<QTimerEvent> #include<QDateTime> #include<QLineEdit> #include<QLabel> #include<QPushButton> #include <QTextToSpeech> QT_BEGIN_NAMES…...

编程日记 2023/9/2 23:57:05

数据库建设命名规范

1、数据库库表命名规范 1.1 数据库命名规范 采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线_组成&#xff0c;命名简洁明确&#xff0c;多个单词用下划线_分隔,一个项目一个数据库&#xff0c;多个项目慎用同一个数据库全部小写命名&#xff0c;禁止出现大…...

编程日记 2023/9/2 23:56:05

单元测试及其工具Junit

1.单元测试是什么 单元测试是开发者编写的一小段代码&#xff0c;用于检验被测代码的一个很小的、很明确的功能是否正确&#xff0c;通常而言&#xff0c;一个单元测试是用于判断某个特定条件&#xff08;或者场景&#xff09;下某个特定函数的行为。 单元测试是软件测试的一种…...

编程日记 2023/9/2 23:55:03

Multicast IP Interface

该模块通过多播IPv4和IPv6在UDP上实现CAN和CAN FD消息的传输。此虚拟接口允许在多个进程甚至主机之间进行通信。这与虚拟接口不同，虚拟接口只能在单个进程中传递消息，但不需要网络堆栈。 它在UDP上运行以具有尽可能低的延迟（与使用TCP相反），并且因为正常的IP多播本质上是…...

编程日记 2023/9/2 23:54:02