当前位置： 首页 > news >正文

flink学习-状态管理

news 文章来源：https://blog.csdn.net/taotaobujuerulv/article/details/139562818 2024/10/31 13:21:37

状态管理

在flink中，算子可以分为无状态和有状态两种情况。
无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。
有状态的算子则是除当前数据之外，还需要一些其他数据来计算结果。这里说的其他数据其实就是指状态，聚合算子，窗口算子都应该算是有状态的算子。
状态也可以分为两种，一种是算子状态，一种是按键分区状态（只有进行key 进行分组的）

按键分区状态

  1. 值状态
    值状态就是状态中只保存一个值
  2. 列表状态
    用List的形式存储状态，主要有的方法：get（获取列表状态，返回值迭代类型）；update（更新list状态）、add（添加一个元素）、addAll（添加多个）、clear（清空）
  3. Map状态
    用map形式存储状态。
  4. 规约状态
  5. 聚合状态

状态生存时间

因为状态如果长时间保存会导致存储耗尽，通过设置状态的ttl，可以自动清除没有用的状态，当状态在内存中存在的时间超过这个值，就将它清除。

算子状态

在算子状态中，一个子任务就是一个整体
主要几种类型：列表状态、联合列表状态、广播状态
在算子状态中可以进行初始化后，进行持久化防止异常退出时丢失算子状态，
列表状态和联合列表状态区别在于：并行度改变后如何重新分配，list状态：轮询均分给新的并行子任务；unionlist状态：原先多个子任务的状态，合并成一份完成的，分配给每个新的算子一整份。
广播状态：可以作为配置流进行配置，可以实时修改配置。

状态后端

状态后端分类
HashMapStateBacked (哈希表状态后端，使用内存，保存在TaskManager JVM堆，默认使用)
EmbeddedRocksDBStateBackend（内嵌RocksDB状态后端，kv存储，持久化到磁盘，数据存储需要序列化）

相关文章：

flink学习-状态管理

状态管理 在flink中，算子可以分为无状态和有状态两种情况。 无状态的算子只需要观察每个独立事件，根据当前输入的数据直接输出结果。像：filter、flatMap、map都属于无状态的算子。 有状态的算子则是除当前数据之外，还需要一些其他…...

编程日记 2024/6/17 22:36:48

OpenCV图像算术位运算

一 图像相加 import cv2 import numpy as npgirlcv2.imread(./2037548.jpg)#图像的加法运算就是矩阵的加法运算 #因此加法运算的两张图必须是相等的print(girl.shape)imgnp.ones((1920,1080,3),np.uint8)*50 cv2.imshow(girl,girl) resultcv2.add(girl,img) cv2.imshow(result…...

编程日记 2024/6/17 22:35:47

【调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新】

调试笔记-系列文章目录 调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 文章目录 调试笔记-系列文章目录调试笔记-20240611-Linux-配置 OpenWrt-23.05 支持泛域名 acme 更新 前言一、调试环境操作系统：Windows 10 专业版调试环境调试目标 二、调…...

编程日记 2024/6/17 22:34:46

ssm宠物网站系统-计算机毕业设计源码07183

摘 要 在信息飞速发展的今天，网络已成为人们重要的信息交流平台。宠物网站每天都有大量的信息需要通过网络发布，为此，本人开发了一个基于B/S（浏览器/服务器）模式的宠物网站系统。 该系统以JJava编程语言、MySQL和SSM框…...

编程日记 2024/6/17 22:33:44

想上币的项目方怎么去选择交易所

在区块链和加密货币蓬勃发展的今天，许多项目方都渴望通过交易所上线其代币，以扩大影响力、提升流动性和市场认可度。然而，选择合适的交易所并非易事，它关乎项目的未来发展和市场地位。那么，对于有上币意向的项目来说&a…...

编程日记 2024/6/17 22:32:43

mysql如何创建并执行事件？

在 MySQL 中，事件调度器允许您在指定的时间间隔执行 SQL 语句。这类似于操作系统中的计划任务（如 cron 作业）。 前提条件 确保您的 MySQL 服务器已启用事件调度器。可以通过以下命令检查并启用： SHOW VARIABLES LIKE event_scheduler;如果返回的值是 OFF，可以通过以下命…...

编程日记 2024/6/17 22:31:42

k8s环境里查看containerd创建的容器对应的netns

如何查看containerd创建的容器对应的netns 要查看由 containerd 创建的容器对应的网络命名空间（netns），你可以遵循以下步骤。这个过程涉及到了解容器的 ID，以及使用 ctr 命令或其他方式来检索容器的详细信息。这里假定你已经具备…...

编程日记 2024/6/17 22:30:41

学习笔记——网络管理与运维——SNMP(基本配置)

四、SNMP基本配置 1、SNMP配置举例 整个华为数通学习笔记系列中，本人是以网络视频与网络文章的方式自学的，并按自己理解的方式总结了学习笔记，某些笔记段落中可能有部分文字或图片与网络中有雷同，并非抄袭。完处于学习态度&#x…...

编程日记 2024/6/17 22:29:39

CMake从安装到精通

目录 引言 1. CMake的安装 2. CMake的原理 3. CMake入门 3.1 CMakeLists.txt与注释 3.2 版本指定与工程描述 3.3 生成可执行程序 3.4 定义变量与指定输出路径 3.5 指定C标准 3.6 搜索文件 3.7 包含头文件 4. CMake进阶 4.1 生成动静态库 4.2 链接动静态库 4.…...

编程日记 2024/6/17 22:28:38

【C++】认识STL

【C】认识STL STL的概念STL的版本STL的六大组件STL的三个境界STL的缺陷 STL的概念 SLT(standard template libaray-标准模板库)：是C标准库的重要组成部分，不仅是一个可复用的组件库，而且是一个保罗数据结构与算法的软件框架。 STL的版本 原…...

编程日记 2024/6/17 22:27:36

力扣 50.pow(x,n)

class Solution { public: double quickMul(double x,long long N){ if(N0) return 1; double valuequickMul(x,N/2); return N%20?value*value:value*value*x; } double myPow(double x, int n) { long long Nn; return N>0?quickMul(x, N):1.0/quickMul(x, N); } };...

编程日记 2024/6/17 22:26:35

R可视化：微生物相对丰度或富集热图可视化

欢迎大家关注全网生信学习者系列： WX公zhong号：生信学习者Xiao hong书：生信学习者知hu：生信学习者CDSN：生信学习者2介绍 热图（Heatmap）是一种数据可视化方法，它通过颜色的深浅或色调的变化来展示数据的分布和密度。在微生物学领域，热图常用于表示微生物在不同分组（如…...

编程日记 2024/6/17 22:25:34

Unity Maximum Allowed Timestep的说明

Maximum Allowed Timestep的说明 关于Maximum Allowed Timestep这个配置的说明，Unity有一份官方的说明。 Time-maximumDeltaTime - Unity 脚本 API 结合Unity的函数执行顺序，我们可以简单理解为： FixedUpdate在1次Update可能会执行N次&am…...

编程日记 2024/6/17 22:24:33

长短期记忆神经网络（LSTM）的回归预测（免费完整源代码）【MATLAB】

LSTM（Long Short-Term Memory，长短期记忆网络）是一种特殊类型的递归神经网络（RNN），专门用于处理和预测基于时间序列的数据。与传统RNN相比，LSTM在处理长期依赖问题时具有显著优势。 LSTM的基本…...

编程日记 2024/6/17 22:23:31

关于 python request 的 response 返回 b‘\xa3\xff\xff\x11E .....‘ 类型的数据的解决方案

最近写开发一个爬虫， 程序在本地好好的，返回的是正常的 html， 但是到了生产环境，不知道为什么返回的是一堆乱码 长这样： 查了好几天都没有进展， 对其进行各种转码均无效 今天终于找到解决办法了&#xff…...

编程日记 2024/6/17 22:22:30

后端高频面试题分享-用Java判断一个列表是否是另一个列表的顺序子集

问题描述 编写一个函数，该函数接受两个列表作为参数，判断第一个列表是否是第二个列表的顺序子集，返回True或False。 要求 判断一个列表是否是另一个列表的顺序子集，即第一个列表的所有元素在第二个列表需要顺序出现。列表中的元…...

编程日记 2024/6/17 22:20:28

【数据初步变现】论自助BI在数字化转型中如何赋能业务

引言：数字化转型要求企业更加依赖数据来指导业务决策。自助BI作为数据分析的重要工具，能够迅速、准确地从海量数据中提取有价值的信息，为企业的战略规划和业务执行提供有力支持。在数字化时代，企业需要快速响应市场变化并优化业务…...

编程日记 2024/6/17 22:18:26

Python 学习 第二册 第14章 网络编程

----用教授的方式学习 目录 14.1 几个网络模块 14.1.1 模块 socket 14.1.2 模块 urllib 和 urllib2 14.1.3 其他模块 14.2 SocketServer 及相关的类 14.3.1 使用 SocketServer 实现分叉和线程化 14.3.2 使用 select 和 poll 实现异步 I/O 14.4 Twisted 14.4.1 下载…...

编程日记 2024/6/17 22:16:24

微信 小程序应用，页面，组件的生命周期

组件生命周期 组件的生命周期：指的是组件自身的一些钩子函数，这些函数在特定的时间节点时被自动触发 组件的生命周期函数需要在 lifetimes 字段内进行声明 最重要的生命周期是 created attached detached 包含一个组件生命周期流程的最主要时间点 定…...

编程日记 2024/6/17 22:13:21

代码随想录算法训练营Day41|背包问题、分割等和子集

背包问题 二维 46. 携带研究材料（第六期模拟笔试） (kamacoder.com) dp数组有两维，横轴表示背包重量j（0-j），纵轴表示不同物品（0-i），dp[i][j]即表示从下标为[0-i]的物品…...

编程日记 2024/6/17 22:12:20

oracle SCHEDULER

从Oracle 10g开始，推荐使用DBMS_SCHEDULER包，因为它提供了更强大的功能和灵活性，包括更复杂的调度规则、依赖管理和事件驱动等 1. 用法 DBMS_SCHEDULER.CREATE_JOB (job_name IN VARCHAR2,job_type IN VARCHAR2,job_action IN VARCHAR2,…...

编程日记 2024/6/17 22:11:18

实现虚拟机的难点

一、背景 目前的虚拟机有很多，例如VMWare、VitrualBox、QEMU、JVM、Python虚拟机等等。 二、虚拟机的作用 在一台已有的计算机中，忽略实际操作系统种类和硬件的型号，用一些接口库来搭建一台用户想要的，虚拟的程序运行环境。 例如…...

编程日记 2024/6/17 22:09:15

JAVA-线程

先上图，有点长，比较碎，有xmind文件......，详细内容均在图片里介绍了，提供了PDF文件 1.线程简介 进程是操作系统中正在执行的不同的应用程序，例如：我们可以同时打开Word和记事本 线程是一个应用…...

编程日记 2024/6/17 22:07:12

代码随想录——电话号码的字母组合（Leetcode17）

题目链接 回溯 class Solution {List<String> res new ArrayList<String>();StringBuilder str new StringBuilder();HashMap<String, String> Sites new HashMap<String, String>();public List<String> letterCombinations(String digit…...

编程日记 2024/6/17 22:05:10

多款可观测产品全面升级丨阿里云云原生 5 月产品月报

云原生月度动态 云原生是企业数字创新的最短路径。 《阿里云云原生每月动态》&#xff0c;从趋势热点、产品新功能、服务客户、开源与开发者动态等方面&#xff0c;为企业提供数字化的路径与指南。 趋势热点 &#x1f947; 阿里云云原生产品负责人李国强&#xff1a;推进可…...

编程日记 2024/6/17 22:03:07

python实践笔记(三): 异常处理和文件操作

1. 写在前面 最近在重构之前的后端代码&#xff0c;借着这个机会又重新补充了关于python的一些知识&#xff0c; 学习到了一些高效编写代码的方法和心得&#xff0c;比如构建大项目来讲&#xff0c;要明确捕捉异常机制的重要性&#xff0c; 学会使用try...except..finally&…...

编程日记 2024/6/17 22:02:06

Excel VLOOKUP 使用记录

Excel VLOOKUP 使用记录 VLOOKUP简单使用 VLOOKUP(lookup_value,table_array,col_index_num,[range-lookup]) 下面是excel对VLOOKUP 的解释 lookup_value&#xff08;查找值&#xff09;&#xff1a;要匹配查找的值 table_array&#xff08;数据表&#xff09;&#xff1…...

编程日记 2024/6/17 21:56:59

Spring Cloud Stream 消息驱动基础入门与实践总结

Spring Cloud Stream是用于构建与共享消息传递系统连接的高度可伸缩的事件驱动微服务框架&#xff0c;该框架提供了一个灵活的编程模型&#xff0c;它建立在已经建立和熟悉的Spring熟语和最佳实践上&#xff0c;包括支持持久化的发布/订阅、消费组以及消息分区这三个核心概念。…...

编程日记 2024/6/17 21:54:57

你好rust

第一次安装rust&#xff0c;记录一下笔记。 几年前就听说过rust&#xff0c;自己一直是个c爱好者&#xff0c;所以比较抵触rust&#xff0c;早年还有什么rust向上突破群。一直比较抵触&#xff0c;直到这几年rust已经渐渐深入到linux内核、云原生可观测以及zend社区当中&#x…...

编程日记 2024/6/17 21:52:54

STM32 printf 重定向到CAN

最近在调试一款电机驱动板 使用的是CAN总线而且板子上只有一个CAN 想移植Easylogger到上面试试easylogger的效果&#xff0c;先实现pritnf的重定向功能来打印输出 只需要添加以下代码即可实现 代码 #include <stdarg.h> uint8_t FDCAN_UserTxBuffer[512]; void FDCAN_p…...

编程日记 2024/6/17 21:51:53

台州网站如何制作/国外搜索引擎大全

UVM中可以利用uvm_event_pool在整个ENV中获取event。 用法&#xff1a; uvm_event_pool test_pool; uvm_event event1; test_pooluvm_event_pool::get_global_pool(); event1test_pool.get("event1"); //如果event1还没有在test_pool中&#xff0c;get function会将其…...

编程日记 2024/10/31 13:19:00

哈密网站建设/莆田seo

代码如下&#xff1a; Public Sub 商品销售方式() 定义用于循环的整型变量 Dim i As Integer选择“商品销售方式决策”工作表Sheets("商品销售方式决策").Select使用For……Next循环语句For i 2 To 7计算“自销毛利润”值Cells(10, i) (Cells(3, i) - Cells(6, i) …...

编程日记 2024/10/31 10:55:29

做二手车放在哪个网站好/搜索推广出价多少合适

Dynamic Network Embedding by Modeling Triadic Closure Process 作者是Lekui Zhou, Yang Yang, Xiang Ren, Fei Wu, Yueting Zhuang&#xff0c;发表于AAAI2018。主要是利用三元闭包过程建模动态网络嵌入&#xff0c;并且生成节点的embedding用于下游任务。 1 背景知识 网…...

编程日记 2024/10/31 9:33:17

php程序员网站开发建设/济南网站seo哪家公司好

——为了今天要写的内容&#xff0c;运行了将近7个小时的程序&#xff0c;在数据库中存储了1千万条数据。—— 今天要说的是mysql数据库的IF()函数的一个实例。具体场景如下,先看看表结构&#xff1a;CREATE TABLE message (id varchar(30) NOT NULL,title varchar(30) DEFAULT…...

编程日记 2024/10/31 9:24:09

新浪微博做wordpress图床/上海自媒体推广

要想把日语翻译做好&#xff0c;既要学会捕捉关键词句&#xff0c;有良好地逻辑思维&#xff0c;又要具备一定的翻译技巧。下面小编给大家介绍一些常用的日语翻译技巧&#xff0c;欢迎阅读学习!常用的日语翻译技巧一、反译日语句子中经常喜欢用双重否定来表示肯定&#xff0c;这…...

编程日记 2024/10/31 9:12:50

淘宝客建网站要钱的吗/seo外链工具

1、结点的声明typedef struct node{int value;//数据域struct node* next;//指针域 }Node, *LinkedList;2、ADT函数声明LinkedList MakeEmptyList(void);//初始化一个空表 int Length(LinkedList list);//返回单链表表长 int Insert(int x, int k, LinkedList list);//在位序为…...

编程日记 2024/10/31 7:36:40