（七）Flink Watermark
Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题，尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下，即使某些数据出现了延迟到达的情况，也不会导致整个处理流程的中断。此外，Watermark 还能防止过期的数据被处理，从而提高了数据处理的准确性。
具体来说，Watermark 有以下两个主要的功能：
-
解决乱序问题：通过设置 Watermark，可以确保处理过程不会因为等待数据而无限期地阻塞。这样，即使在数据出现延迟的情况下，也能及时处理后续的数据，而不是等到所有的数据都到达之后再开始处理。
-
允许一定程度的延迟：Watermark 可以在一定程度上接受数据的延迟到达，但同时会有一个设定的最大延迟时间。当数据流中的事件时间戳大于等于水印加上这个最大延迟时间时，就会触发相应的计算操作。这样可以避免因长时间的延迟而导致的不必要的计算开销。
目录
Watermark 策略简介
Watermark 生成策略
1、内置策略
2、自定义 Watermark 策略
处理空闲数据源
Watermark 策略应用
总结
Watermark 策略简介
为了使用事件时间语义，Flink 应用程序需要知道事件时间戳对应的字段，通常通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。时间戳的分配与 Watermark 的生成是齐头并进的，其可以告诉 Flink 应用程序事件时间的进度。可以通过指定 WatermarkGenerator 来配置 Watermark 的生成方式。
使用 Flink API 时需要设置一个同时包含 TimestampAssigner 和 WatermarkGenerator 的 Watermark
相关文章：
（七）Flink Watermark
Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题，尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下，即使某些数据出现了延迟到达的情况，也不会导致整个处理流程的中断。此外，Watermark 还能防止过期的数据…...
springboot 上传文件失败：The temporary upload location
Caused by: java.io.IOException: The temporary upload location [/tmp/tomcat.379776875189163783.8081/work/Tomcat/localhost/jcys-core] is not valid 原因： Linux下会自动清除tmp目录下10天没有使用过的文件，SpringBoot启动的时候会在/tmp目录下生…...
UNiapp之微信小程序导出Excel
效果如下 参考小程序：日常记一记 ---账单页面 主要功能是根据筛选条件导出账单明细列表，实现该功能主要借助一个工具(excel.js)，可在文章顶部下载或者一下网盘下载 https://pan.baidu.com/s/1RLisuG4_7FGD0Cnwewyabg?pwdpd2a 提取码: pd2a…...
fsadsadsad
adsadsafsada...
高效录制新选择：2024年Windows录屏软件
录屏能帮助我们捕捉屏幕上的精彩瞬间，作为老师可以用来录制课程，作为会议记录员可以用来录制远程会议。那么有什么软件是适合windows录屏的呢？这次我们一起来探讨一下吧。 1.福昕录屏大师 链接：www.foxitsoftware.cn/REC/ 这款软…...
Java技术面试（一面）
1、相面对象 1、面相对象语言/Java三大特性是什么？ 引出 封装、继承和多态。 2、多态有哪些形式？多态使用过吗？ 重载、重写，接口和抽象类的多个实现。考察工作经验、代码重构经验、习惯。 3、Java接口和抽象类有什么区别？你是如何选择使用的？ 考察OOP的理解和工作…...
docker修改数据目录
新建docker数据目录 mkdir /data/docker-data停止docker服务 systemctl stop docker把docker数据迁移到新目录 cp -r /var/lib/docker/* /data/docker-data/修改docker配置 vi /etc/docker/daemon.json #添加data-root参数 {"data-root":"/data/docker-dat...
Appium学习
一、基础配置 import unittest from appium import webdriver from appium.options.android import UiAutomator2Options from appium.webdriver.common.appiumby import AppiumBy from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support …...
回顾 | 瑞云科技亮相ICIC2024，虚拟仿真实训云平台引关注
2024年8月7日，天津市虚拟仿真学会主办的第二十届智能计算国际会议（ICIC2024）——虚拟仿真技术交流平行会议暨天津市虚拟仿真学会2024年暑期技术交流会在天津盛大召开。本次大会汇聚来自全国的顶尖专家、学者和行业领袖，共同探讨虚…...
libLZMA库iOS18平台编译
1.下载xz源码: 使用autogen.sh生成configure文件 2.生成makefile rm -rf ./build/iOS && mkdir -p ./build/iOS && cd ./build/iOS && ../../configure --host=arm-apple-darwin64 --prefix=`pwd`/Frameworks/lzma CC="xcrun -sdk iphoneos cl…...
《AI办公类工具PPT系列之二——iSlide AI》
一.简介 官网：iSlide- 让PPT设计简单起来 | PPT模板下载平台 iSlide AI是一款基于人工智能技术的PPT制作工具，它可以帮助用户快速高效地创建演示文稿 二.功能介绍 1. AI一键生成PPT 文档导入与解析：用户可以直接上传本地文档（如Word、Markdown、思维导图等），iSlide A…...
C语言基础（六）
一维数组： C语言中的数组是一种基本的数据结构，用于在计算机内存中连续存储相同类型的数据。 数组中的每个元素可以通过索引（或下标）来访问，索引通常是从0开始的。 数组的大小在声明时确定，并且之后不能改…...
什么是词向量？如何得到词向量？Embedding 快速解读
我第一次接触 Embedding 是在 Word2Vec 时期，那时候还没有 Transformer 和 BERT 。Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。 有了 Embedding ，就可以对词进…...
AI视频创作应用
重磅推荐专栏： 《大模型AIGC》 《课程大纲》 《知识星球》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经…...
)
JAVA常见的工具类之Object类(超详细)
1、Java API简介 Java API(Java Application Programming Interface)是Java应用程序编程接口的缩写。Java中的API，就是JDK提供的具有各种功能的Java类，灵活使用Java API能够大大提高使用Java语言编写程序的效率。 Java API的帮助文档可到 http://docs.or…...
深度学习(YOLO、DETR) 十折交叉验证
二：交叉验证 在 K 折验证之前最常用的验证方法就是交叉验证，即把数据划分为训练集、验证集和测试集。一般的划分比例为 7：1：2。但如何合理的抽取样本就成为了使用交叉验证的难点，不同的抽取方法会导致截然不同的训练性…...
基于php网上差旅费报销系统设计与实现
网上报销系统以LAMP(LinuxApacheMySQLPHP)作为平台,涉及到PHP语言、MySQL数据库、JavaScript语言、HTML语言。 2.1 PHP语言简介 PHP，一个嵌套的缩写名称，是英文 “超级文本预处理语言”（PHP: Hypertext Preprocessor）的缩写。P…...
微服务及安全
一、微服务的原理 1.什么是微服务架构 微服务架构区别于传统的单体软件架构，是一种为了适应当前互联网后台服务的「三高需求：高并发、高性能、高可用」而产生的的软件架构。 单体式应用程序 与微服务相对的另一个概念是传统的单体式应用程序( Monolithic application )，…...
图文详解ThreadLocal：原理、结构与内存泄漏解析
目录 一.什么是ThreadLocal 二.ThreadLocal的内部结构 三.ThreadLocal带来的内存泄露问题 ▐ key强引用 ▐ key弱引用 总结 一.什么是ThreadLocal 在Java中，ThreadLocal 类提供了一种方式，使得每个线程可以独立地持有自己的变量副本，而…...
基于java的综合小区管理系统论文.doc
摘 要 如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统综合小区管理系统信息管理难度大，容错率低&am…...
基于算法竞赛的c++编程（28）结构体的进阶应用
结构体的嵌套与复杂数据组织 在C中，结构体可以嵌套使用，形成更复杂的数据结构。例如，可以通过嵌套结构体描述多层级数据关系： struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...
国防科技大学计算机基础课程笔记02信息编码
1.机内码和国标码 国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制，因此这个了16进制的数据既可以翻译成为这个机器码，也可以翻译成为这个国标码，所以这个时候很容易会出现这个歧义的情况； 因此，我们的这个国…...
利用ngx_stream_return_module构建简易 TCP/UDP 响应网关
一、模块概述 ngx_stream_return_module 提供了一个极简的指令： return <value>;在收到客户端连接后，立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量（如 $time_iso8601、$remote_addr 等）&a…...
在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：
在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档，…...
CentOS下的分布式内存计算Spark环境部署
一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架，相比 MapReduce 具有以下核心优势： 内存计算：数据可常驻内存，迭代计算性能提升 10-100 倍（文档段落：3-79…...
定时器任务——若依源码分析
分析util包下面的工具类schedule utils： ScheduleUtils 是若依中用于与 Quartz 框架交互的工具类，封装了定时任务的 创建、更新、暂停、删除等核心逻辑。 createScheduleJob createScheduleJob 用于将任务注册到 Quartz，先构建任务的 JobD…...
对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验，以及大语言模型的分析能力，我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际，我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测，聊作存档。等到明…...
MySQL 8.0 OCP 英文题库解析（十三）
Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...
管理学院权限管理系统开发总结
文章目录 🎓 管理学院权限管理系统开发总结 - 现代化Web应用实践之路📝 项目概述🏗️ 技术架构设计后端技术栈前端技术栈 💡 核心功能特性1. 用户管理模块2. 权限管理系统3. 统计报表功能4. 用户体验优化 🗄️ 数据库设…...
JS手写代码篇----使用Promise封装AJAX请求
15、使用Promise封装AJAX请求 promise就有reject和resolve了，就不必写成功和失败的回调函数了 const BASEURL ./手写ajax/test.jsonfunction promiseAjax() {return new Promise((resolve, reject) > {const xhr new XMLHttpRequest();xhr.open("get&quo…...