当前位置：首页 > news >正文

flink checkpoint时exact-one模式和atleastone模式的区别

news 文章来源：https://blog.csdn.net/lixia0417mul2/article/details/132462223 2025/2/12 8:09:46

背景：

flink在开启checkpoint的时候有两种模式可以选择，exact-one和atleastone模式，那么这两种模式有什么区别呢？

exact-one和atleastone模式的区别

先说结论：exact-one可以完全做到状态的一致性，而atleastone模式正常情况下没法做到状态的一致性，如果开启这个模式，有些消息会重复处理，例如统计计数时，重复的消息会导致统计两次
那么为什么会这样呢？原理如下：
在这里插入图片描述

简单来说，主要的区别在于两种模式下对于接收到ckp分隔符后对齐过程中是否继续处理已经收到ckp分隔符的chanel的记录的不同，exactone是ckp分隔符对齐过程中先缓存记录不处理，而atleastone在ckp分隔符对齐过程中正常处理消息，这样这些消息就会被当成这次ckp的状态的一部分，而其实它不应该是这次ckp状态的一部分，而在应用从最新的ckp启动后，这些记录又有重新消费，叠加上之前已经成为ckp状态的那一次，相当于消息被重复处理了两次，所以才被称为atleastone模式

彩蛋：那么atleastone有可能达到exactone一样的效果吗？

有，前提是作业不需要包含对齐操作，也就是比如只包含map,fliter等并行算子，完全不需要分隔符对齐，但是这种情况下应该直接设置为exactone就完事了，不用故意使用atleastone的

相关文章：

flink checkpoint时exact-one模式和atleastone模式的区别

背景： flink在开启checkpoint的时候有两种模式可以选择，exact-one和atleastone模式，那么这两种模式有什么区别呢？ exact-one和atleastone模式的区别先说结论：exact-one可以完全做到状态的一致性，而atle…...

编程日记 2023/8/27 18:49:27

QEMU 仿真RISC-V freeRTOS 程序

1. 安裝RISC-V 仿真環境 --QEMU 安裝包下載地址: https://www.qemu.org/ 安裝命令及安裝成功效果如下所示, target-list 設定爲riscv32-softmmu, $ cat ~/project/qemu-8.0.4/install.sh sudo apt-get install libglib2.0-dev sudo apt-get install libpixman-1-dev ./co…...

编程日记 2023/8/27 18:48:26

用大白话来讲讲多线程的知识架构

感觉多线程的知识又多又杂，自从接触java，就在一遍一遍捋脉络和深入学习。现在将这次的学习成果展示如下。什么是多线程？ 操作系统运行一个程序，就是一个线程。同时运行多个程序，就是多线程。即在同一时间&#xff0…...

编程日记 2023/8/27 18:47:25

【uniapp】微信小程序，海报轮播图弹窗，点击海报保存到本地，长按海报图片分享，收藏或保存

uivew 2.0 uniapp 海报画板 DCloud 插件市场第一步，下载插件并导入HbuilderX 第二步，文件内引入海报组件 <template><painter ref"haibaorefs"></painter> <template> <script>import painter from /comp…...

编程日记 2023/8/27 18:46:22

SpringBoot与前端交互遇到的一些问题

一、XXX.jar中没有主清单属性场景： SpringBoot打的jar包在Linux运行报错解决方案： 百度找了很多都是一样的答案，但是解决不了我的问题，于是我新建了一个springboot项目发现打的jar包可以在Linux上运行。检查了下只要把下面这2个…...

编程日记 2023/8/27 18:45:21

Maven介绍与配置+IDEA集成Maven+使用Maven命令

目录一、Maven简介二、配置环境变量三、IDEA集成Maven 1.配置本地仓库地址 2.集成Maven 3. pom.xml文件介绍四、Maven命令 jar包太多、jar包相互依赖、不方便管理、项目编译还需要jar包，Maven工具来帮你！ 一、Maven简介 Maven 是 Apache 软…...

编程日记 2023/8/27 18:44:20

毕业设计题目源码-毕业论文参考

目录 java语言ssm框架springboot框架微信小程序jspservletmysqljspservletsqlserverssh框架springmvc框架oracle无数据库 C#/asp/net语言B/S结构浏览器模式C/S结构窗体模式安卓/androidapp 客户端appweb 客户端服务端 php语言php java语言 ssm框架题目ssm828基于java的珠…...

编程日记 2023/8/27 18:43:19

SSH报错-Terminal shell path: C:\WINDOWS\System32\cmd.exe 此时不应有

最近接盘了实验室的工作，需要重新配置连接自己的VScode的SSH远程连接服务器，结果配置了一个下午都没搞好，决定记录一下，希望大家避免踩坑。在vscode上遇到的是这个报错： 错误日志 [11:40:12.097] Checking ssh with …...

编程日记 2023/8/27 18:42:15

Docker 轻量级可视化工具Portainer

1. 是什么 Portainer 是一款轻量级的应用，它提供了图形化界面，用于方便地管理Docker环境，包括单机环境和集群环境。 2. 安装 2.1 官网 https://www.protainer.io/ https://docs.portainer.io/ce-2.9/start/install/server/docker/linux 2.2 …...

编程日记 2023/8/27 18:41:14

站点平台技术架构

系统架构部署思维导图平台模块分配： 1.账号模块 2.权限模块 3.站点模块 4.配置模块 5.系统升级 6.日志模块一、前期工作 1.系统保持一致性方案： GIT版本控制：通过总控端向租户端发送一个更新同步请求，租户端收到请求后执行GI…...

编程日记 2023/8/27 18:40:13

一个以太坊合约的漏洞分析-重入攻击

请找出下列合约漏洞，并说明如何盗取ContractB 中的数字资产，并修复合约。中说明：ContractB 的contract_a接口为ContractA 地址 pragma solidity ^0.8.21; interface ContractA {function get_price() external view returns (uint256); }int…...

编程日记 2023/8/27 18:39:12

测试先行：探索测试驱动开发的深层价值

引言在软件开发的世界中，如何确保代码的质量和可维护性始终是一个核心议题。测试驱动开发（TDD）为此提供了一个答案。与传统的开发方法相比，TDD鼓励开发者从用户的角度出发，先定义期望的结果，再进行实际的开发。这种方法不仅可以确保代码满足预期的需求，还可以在整个开…...

编程日记 2023/8/27 18:38:10

如何用Dockerfile部署LAMP架构

目录构建LAMP镜像（Dockerfile） 第一步创建工作目录第二步编写dockerfile文件 Dockerfile文件配置内容第三步编写网页执行文件第四步编写启动脚本第五步赋权并且构建镜像第六步检查镜像第七步创建容器第八步浏览器测试构建LA…...

编程日记 2023/8/27 18:37:09

基于量子粒子群算法（QPSO）优化LSTM的风电、负荷等时间序列预测算法（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/8/27 18:36:08

SQL Server软件安装包分享（附安装教程）

目录一、软件简介二、软件下载一、软件简介 SQL Server是一种关系型数据库管理系统，由美国微软公司开发。它被设计用于存储、管理和查询数据，被广泛应用于企业级应用、数据仓库和电子商务等场景。以下是SQL Server软件的主要特点和功能&#xff1…...

编程日记 2023/8/27 18:35:05

基于Django的博客管理系统

1、克隆仓库https://gitee.com/lylinux/DjangoBlog.git 若失效：https://gitee.com/usutdzxy/DjangoBlog.git 2、环境安装 pip install -Ur requirements.txt3、修改djangoblog/setting.py 修改数据库配置，其他的步骤就按照官方文档。 DATABASES {def…...

编程日记 2023/8/27 18:34:04

windows系统依赖环境一键安装

window系统程序依赖库，可以联系我获取15958139685 脚本代码如下，写到1. bat文件中，双击直接运行，等待安装完成即可 Scku.exe -AVC.exe /SILENT /COMPONENTS"icons,ext\reg\shellhere,assoc,assoc_sh" /dir%1\VC...

编程日记 2023/8/27 18:33:03

centos7安装nacos

解决 Nacos 国内下载速度缓慢的问题方案 1. 选择相应的版本源码下载 1.1 依次点击 1、2、3 选中我们的最新稳定版本 1.4.0 1.2 点击下载 ZIP、或者 clone 也行，这里都可以 2. 本地编译 2.1 预备环境准备 2.2 解压编译 3. 启动验证 3.1 解压 3.2 启动服务器 3…...

编程日记 2023/8/27 18:32:01

【python】python智能停车场数据分析（代码+数据集）【独一无二】

👉博__主👈：米码收割机 👉技__能👈：C/Python语言 👉公众号👈：测试开发自动化【获取源码商业合作】 👉荣__誉👈：阿里云博客专家博主、5…...

编程日记 2023/8/27 18:31:00

如何使用Redis来防止穿透、击穿和雪崩问题

推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接玩转cloud Studio 在线编码神器玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间资源分享史上最全文档AI绘画stablediffusion资料分享 AI绘画关于SD,MJ,GPT,SDXL百科全书「java、python面试题」…...

编程日记 2023/8/27 18:29:59

以getPositionList为例，查找接口函数定义及接口数据格式定义

job-app-master/pages/index/index.vue中299行 async getPositionList(type refresh, pulldown false) {this.status 请求中;if (type refresh) {this.query.page 1;} else {this.query.page;}let res await this.$apis.getPositionList(this.query);if (res) {if (type …...

编程日记 2023/8/27 18:28:57

一生一芯8——在github上添加ssh key

为在github上下载代码框架，这里在github上使用ssh key进行远程连接，方便代码拉取参照博客https://blog.csdn.net/losthief/article/details/131502734 本机系统ubuntu22.04 git 版本2.34.1 本人是第一次配置，没有遇到奇奇怪怪的错误&…...

编程日记 2023/8/27 18:27:56

2023年6月电子学会Python等级考试试卷（一级）答案解析

青少年软件编程（Python）等级考试试卷（一级）一、单选题(共25题，共50分) 1. 可以对Python代码进行多行注释的是？（　） A. #...

编程日记 2023/8/27 18:26:54

ppt如何转pdf文档？用这个方法可将ppt转pdf

在现代社会中，PPT(幻灯片)已成为一种常见的演示工具，被广泛应用于学术、商务、培训等领域。然而，PPT文件的使用和分享存在一些问题，例如文件格式不兼容、内容修改易被篡改等。为了解决这些问题，将PPT转换为PDF格式已成…...

编程日记 2023/8/27 18:25:53

Hope.money：新兴DeFi项目如何重新定义稳定币生态的未来？

联储加息导致金融市场紧缩，Terra、3AC、FTX等知名中心化机构未能妥善应对而暴雷，并重创了整个加密货币市场，导致参与者损失惨重。这些事件揭示了中心化机构的局限，投资者对其资产掌控权的担忧愈发强烈。自2018年首个DeFi协议Com…...

编程日记 2023/8/27 18:24:50

使用 S3 生命周期精确管理对象生命周期

在亚马逊工作这些年,我发现 S3 的生命周期配置是管理对象生命周期的重要但复杂的工具。在这篇文章中,我将利用实战经验,深入剖析生命周期,从核心概念到实际应用。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活…...

编程日记 2023/8/27 18:23:48

RocketMQ零拷贝原理

1 PageCache ●由内存中的物理page组成，其内容对应磁盘上的block。 ●page cache的大小是动态变化的。 ●backing store：cache缓存的存储设备。 ●一个page通常包含多个block,而block不一定是连续的。 1.1读Cache ●当内核发起一个读请求时&#x…...

编程日记 2023/8/27 18:22:47

HTML ＜tbody＞标签

实例带有 thead、tbody 以及 tfoot 元素的 HTML 表格： <table border="1"><thead><tr><th>Month</th><th>Savings</th></tr></thead><tfoot><tr><td>Sum</td><td>$180<…...

编程日记 2023/8/27 18:21:44

4.22 TCP 四次挥手，可以变成三次吗？

目录为什么 TCP 挥手需要四次呢？ 粗暴关闭 vs 优雅关闭 close函数 shotdown函数什么情况会出现三次挥手？ 什么是 TCP 延迟确认机制？ TCP 序列号和确认号是如何变化的？ 在一些情况下， TCP 四次挥手是可以变成 T…...

编程日记 2023/8/27 18:20:43

鲁棒性简述

鲁棒性（Robustness）是指系统或算法对于异常情况或不良条件的抵抗能力和适应能力。一个鲁棒性强的系统能够在面对异常、噪声、错误或意外情况时，仍能够保持高效的运行或输出可接受的结果。鲁棒性是在设计和开发系统时要考虑的一个重要特性&am…...

编程日记 2023/8/27 18:19:41

wordpress隐藏音乐/seo如何优化排名

上一篇博客我和大家分享了vue render函数的基础使用这篇博客我们来简单讲一讲render函数他是怎么实现得先来一张官方得图在实例初始化得时候，html通过render函数编译生成了一个虚拟dom，视图层会根据虚拟dom生成一个真实dom 然后如果响应数据发生变化得…...

编程日记 2025/2/12 2:58:09

试剂产品商城网站建设/seo知名公司

在Python中添加了装饰器，以使函数和方法包装(接收函数并返回增强函数的函数)更易于阅读和理解。最初的用例是能够在定义的顶部将方法定义为类方法或静态方法。没有装饰器语法，将需要一个相当稀疏且重复的定义：classWithoutDecorators:defsome…...

编程日记 2025/2/12 1:33:45

用js做简单的网站页面/制作自己的网站

An ffmpeg and SDL Tutorial在ffmpeg-1.0.1上的更新Tutorial01http://cutebunny.blog.51cto.com/blog/301216/1121847本篇是整个系列的基础，详细介绍了ffmpeg的整个工作流程，以及重要的数据结构。Sample code实现了将视频中的前5帧图像提取出来另存为PPM…...

编程日记 2025/2/12 1:20:33

做自己的直播网站/关键词搜索指数查询工具

clean the macOS, no more input installed;in Xcode, run debug;drag debug app to ~/library/input methods;to systray, add input;in Xcode, active the input;it works!if no effect, go to 1, and then restar macOS, go to 1....

编程日记 2025/2/11 21:59:36

成都简阳疫情最新消息/点击seo软件

Html5--6-46 渐变效果学习要点掌握线性渐变和径向渐变的使用线性渐变： 属性：linear-gradinet(开始位置角度，起始颜色，终止颜色 ) 开始位置：渐变开始的位置，属性值可以为百分比/长度/left、right、top、b…...

编程日记 2025/2/11 18:59:33

买目录做网站/黑龙江seo关键词优化工具

在面试之前，可能没有在互联网公司工作过或者说工作过但年头较短，不知道互联网公司技术面试都会问哪些问题？ 再加上可能自己准备也不充分，去面试没几个回合就被面试官几个问题打蒙了，最后以惨败收场。下述是我整理的And…...

编程日记 2025/2/11 18:51:25