当前位置： 首页 > news >正文

flink学习-状态管理

news 2026/2/8 17:19:59

状态管理

在flink中，算子可以分为无状态和有状态两种情况。
无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。
有状态的算子则是除当前数据之外，还需要一些其他数据来计算结果。这里说的其他数据其实就是指状态，聚合算子，窗口算子都应该算是有状态的算子。
状态也可以分为两种，一种是算子状态，一种是按键分区状态（只有进行key 进行分组的）

按键分区状态

  1. 值状态
    值状态就是状态中只保存一个值
  2. 列表状态
    用List的形式存储状态，主要有的方法：get（获取列表状态，返回值迭代类型）；update（更新list状态）、add（添加一个元素）、addAll（添加多个）、clear（清空）
  3. Map状态
    用map形式存储状态。
  4. 规约状态
  5. 聚合状态

状态生存时间

因为状态如果长时间保存会导致存储耗尽，通过设置状态的ttl，可以自动清除没有用的状态，当状态在内存中存在的时间超过这个值，就将它清除。

算子状态

在算子状态中，一个子任务就是一个整体
主要几种类型：列表状态、联合列表状态、广播状态
在算子状态中可以进行初始化后，进行持久化防止异常退出时丢失算子状态，
列表状态和联合列表状态区别在于：并行度改变后如何重新分配，list状态：轮询均分给新的并行子任务；unionlist状态：原先多个子任务的状态，合并成一份完成的，分配给每个新的算子一整份。
广播状态：可以作为配置流进行配置，可以实时修改配置。

状态后端

状态后端分类
HashMapStateBacked (哈希表状态后端，使用内存，保存在TaskManager JVM堆，默认使用)
EmbeddedRocksDBStateBackend（内嵌RocksDB状态后端，kv存储，持久化到磁盘，数据存储需要序列化）

相关文章：

flink学习-状态管理

状态管理 在flink中，算子可以分为无状态和有状态两种情况。 无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。 有状态的算子则是除当前数据之外，还需要一些其他…...

编程日记 2024/6/17 22:36:48

OpenCV图像算术位运算

一 图像相加 import cv2 import numpy as npgirlcv2.imread(./2037548.jpg)#图像的加法运算就是矩阵的加法运算 #因此加法运算的两张图必须是相等的print(girl.shape)imgnp.ones((1920,1080,3),np.uint8)*50 cv2.imshow(girl,girl) resultcv2.add(girl,img) cv2.imshow(result…...

编程日记 2024/6/17 22:35:47

【调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新】

调试笔记-系列文章目录 调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 文章目录 调试笔记-系列文章目录调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 前言一、调试环境操作系统：Windows 10 专业版调试环境调试目标 二、调…...

编程日记 2024/6/17 22:34:46

ssm宠物网站系统-计算机毕业设计源码07183

摘 要 在信息飞速发展的今天，网络已成为人们重要的信息交流平台。宠物网站每天都有大量的信息需要通过网络发布，为此，本人开发了一个基于B/S（浏览器/服务器）模式的宠物网站系统。 该系统以JJava编程语言、MySQL和SSM框…...

编程日记 2024/6/17 22:33:44

想上币的项目方怎么去选择交易所

在区块链和加密货币蓬勃发展的今天，许多项目方都渴望通过交易所上线其代币，以扩大影响力、提升流动性和市场认可度。然而，选择合适的交易所并非易事，它关乎项目的未来发展和市场地位。那么，对于有上币意向的项目来说&a…...

编程日记 2024/6/17 22:32:43

mysql如何创建并执行事件？

在 MySQL 中，事件调度器允许您在指定的时间间隔执行 SQL 语句。这类似于操作系统中的计划任务（如 cron 作业）。 前提条件 确保您的 MySQL 服务器已启用事件调度器。可以通过以下命令检查并启用： SHOW VARIABLES LIKE event_scheduler;如果返回的值是 OFF，可以通过以下命…...

编程日记 2024/6/17 22:31:42

k8s环境里查看containerd创建的容器对应的netns

如何查看containerd创建的容器对应的netns 要查看由 containerd 创建的容器对应的网络命名空间（netns），你可以遵循以下步骤。这个过程涉及到了解容器的 ID，以及使用 ctr 命令或其他方式来检索容器的详细信息。这里假定你已经具备…...

编程日记 2024/6/17 22:30:41

学习笔记——网络管理与运维——SNMP(基本配置)

四、SNMP基本配置 1、SNMP配置举例 整个华为数通学习笔记系列中，本人是以网络视频与网络文章的方式自学的，并按自己理解的方式总结了学习笔记，某些笔记段落中可能有部分文字或图片与网络中有雷同，并非抄袭。完处于学习态度&#x…...

编程日记 2024/6/17 22:29:39

CMake从安装到精通

目录 引言 1. CMake的安装 2. CMake的原理 3. CMake入门 3.1 CMakeLists.txt与注释 3.2 版本指定与工程描述 3.3 生成可执行程序 3.4 定义变量与指定输出路径 3.5 指定C标准 3.6 搜索文件 3.7 包含头文件 4. CMake进阶 4.1 生成动静态库 4.2 链接动静态库 4.…...

编程日记 2024/6/17 22:28:38

【C++】认识STL

【C】认识STL STL的概念STL的版本STL的六大组件STL的三个境界STL的缺陷 STL的概念 SLT(standard template libaray-标准模板库)：是C标准库的重要组成部分，不仅是一个可复用的组件库，而且是一个保罗数据结构与算法的软件框架。 STL的版本 原…...

编程日记 2024/6/17 22:27:36

力扣 50.pow(x,n)

class Solution { public: double quickMul(double x,long long N){ if(N0) return 1; double valuequickMul(x,N/2); return N%20?value*value:value*value*x; } double myPow(double x, int n) { long long Nn; return N>0?quickMul(x, N):1.0/quickMul(x, N); } };...

编程日记 2024/6/17 22:26:35

R可视化：微生物相对丰度或富集热图可视化

欢迎大家关注全网生信学习者系列： WX公zhong号：生信学习者Xiao hong书：生信学习者知hu：生信学习者CDSN：生信学习者2介绍 热图（Heatmap）是一种数据可视化方法，它通过颜色的深浅或色调的变化来展示数据的分布和密度。在微生物学领域，热图常用于表示微生物在不同分组（如…...

编程日记 2024/6/17 22:25:34

Unity Maximum Allowed Timestep的说明

Maximum Allowed Timestep的说明 关于Maximum Allowed Timestep这个配置的说明，Unity有一份官方的说明。 Time-maximumDeltaTime - Unity 脚本 API 结合Unity的函数执行顺序，我们可以简单理解为： FixedUpdate在1次Update可能会执行N次&am…...

编程日记 2024/6/17 22:24:33

长短期记忆神经网络（LSTM）的回归预测（免费完整源代码）【MATLAB】

LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊类型的递归神经网络（RNN），专门用于处理和预测基于时间序列的数据。与传统RNN相比，LSTM在处理长期依赖问题时具有显著优势。 LSTM的基本…...

编程日记 2024/6/17 22:23:31

关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案

最近写开发一个爬虫， 程序在本地好好的，返回的是正常的 html， 但是到了生产环境，不知道为什么返回的是一堆乱码 长这样： 查了好几天都没有进展， 对其进行各种转码均无效 今天终于找到解决办法了&#xff…...

编程日记 2024/6/17 22:22:30

后端高频面试题分享-用Java判断一个列表是否是另一个列表的顺序子集

问题描述 编写一个函数，该函数接受两个列表作为参数，判断第一个列表是否是第二个列表的顺序子集，返回True或False。 要求 判断一个列表是否是另一个列表的顺序子集，即第一个列表的所有元素在第二个列表需要顺序出现。列表中的元…...

编程日记 2024/6/17 22:20:28

【数据初步变现】论自助BI在数字化转型中如何赋能业务

引言：数字化转型要求企业更加依赖数据来指导业务决策。自助BI作为数据分析的重要工具，能够迅速、准确地从海量数据中提取有价值的信息，为企业的战略规划和业务执行提供有力支持。在数字化时代，企业需要快速响应市场变化并优化业务…...

编程日记 2024/6/17 22:18:26

Python 学习 第二册 第14章 网络编程

----用教授的方式学习 目录 14.1 几个网络模块 14.1.1 模块 socket 14.1.2 模块 urllib 和 urllib2 14.1.3 其他模块 14.2 SocketServer 及相关的类 14.3.1 使用 SocketServer 实现分叉和线程化 14.3.2 使用 select 和 poll 实现异步 I/O 14.4 Twisted 14.4.1 下载…...

编程日记 2024/6/17 22:16:24

微信 小程序应用，页面，组件的生命周期

组件生命周期 组件的生命周期：指的是组件自身的一些钩子函数，这些函数在特定的时间节点时被自动触发 组件的生命周期函数需要在 lifetimes 字段内进行声明 最重要的生命周期是 created attached detached 包含一个组件生命周期流程的最主要时间点 定…...

编程日记 2024/6/17 22:13:21

代码随想录算法训练营Day41|背包问题、分割等和子集

背包问题 二维 46. 携带研究材料（第六期模拟笔试） (kamacoder.com) dp数组有两维，横轴表示背包重量j（0-j），纵轴表示不同物品（0-i），dp[i][j]即表示从下标为[0-i]的物品…...

编程日记 2024/6/17 22:12:20

Docker 运行 Kafka 带 SASL 认证教程

Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明：server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...

编程新知 2026/1/23 4:15:03

React19源码系列之 事件插件系统

事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...

编程新知 2026/2/7 8:31:55

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...

编程新知 2026/2/8 12:54:53

（一）单例模式

一、前言 单例模式属于六大创建型模式，即在软件设计过程中，主要关注创建对象的结果，并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计，从而隐藏了类对象的实例是如何被创建的，封装了软件系统使用的具体对象类型。 六大创建型模式包括…...

编程新知 2026/1/30 6:03:31

论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing

Muffin 论文 现有方法 CRADLE 和 LEMON，依赖模型推理阶段输出进行差分测试，但在训练阶段是不可行的，因为训练阶段直到最后才有固定输出，中间过程是不断变化的。API 库覆盖低，因为各个 API 都是在各种具体场景下使用。…...

编程新知 2026/2/1 1:28:58

Vue 3 + WebSocket 实战：公司通知实时推送功能详解

📢 Vue 3 WebSocket 实战：公司通知实时推送功能详解 📌 收藏 点赞 关注，项目中要用到推送功能时就不怕找不到了！ 实时通知是企业系统中常见的功能，比如：管理员发布通知后，所有用户…...

编程新知 2025/12/1 3:22:57

DAY 45 超大力王爱学Python

来自超大力王的友情提示：在用tensordoard的时候一定一定要用绝对位置，例如：tensorboard --logdir"D:\代码\archive (1)\runs\cifar10_mlp_experiment_2" 不然读取不了数据 知识点回顾： tensorboard的发展历史和原理tens…...

编程新知 2026/1/24 1:45:30

从零手写Java版本的LSM Tree （一）：LSM Tree 概述

🔥 推荐一个高质量的Java LSM Tree开源项目！ https://github.com/brianxiadong/java-lsm-tree java-lsm-tree 是一个从零实现的Log-Structured Merge Tree，专为高并发写入场景设计。 核心亮点： ⚡ 极致性能：写入速度超…...

编程新知 2026/2/8 2:26:12

Qt的学习（二）

1. 创建Hello Word 两种方式，实现helloworld： 1.通过图形化的方式，在界面上创建出一个控件，显示helloworld 2.通过纯代码的方式，通过编写代码，在界面上创建控件， 显示hello world； …...

编程新知 2026/2/6 2:41:56

结合PDE反应扩散方程与物理信息神经网络（PINN）进行稀疏数据预测的技术方案

以下是一个结合PDE反应扩散方程与物理信息神经网络（PINN）进行稀疏数据预测的技术方案，包含完整数学推导、PyTorch/TensorFlow双框架实现代码及对比实验分析。 基于PINN的反应扩散方程稀疏数据预测与大规模数据泛化能力研究 1. 问题定义与数学模型 1.1 反应扩散方程 考虑标…...

编程新知 2025/9/12 11:05:30