当前位置： 首页 > news >正文

flink的物理DataFlow图及Slot处理槽任务分配

news 文章来源：https://blog.csdn.net/lixia0417mul2/article/details/132773975 2024/10/31 19:22:55

背景

在flink中，有几个比较重要的概念，逻辑DataFlow图，物理DataFlow图以及处理槽执行任务，本文就来讲解下这几个概念

概念详解

假设有以下代码：数据源和统计单词算子的并行度是2，数据汇算子的并行度是1，当前集群有100个空闲的处理槽(分别从SLOT_{A,B,C…})
在这里插入图片描述
可以看到最终我们只使用了两个处理槽,分别是SLOT_A和SLOT_B,使用的处理槽的数量和设置的算子最大并行度一样，然后在每个处理槽内，对于每个任务，处理槽会分别开启一个Thread线程进行处理,这里你会不会觉得很奇怪，我还有这么多空闲的处理槽，为何只用了其中的两个？
这其实是由flink的任务调度策略决定的，其决定的依据这样分配当有很多job在同时执行时，可以达到最佳的资源分配，详见官方文档的解释

相关文章：

flink的物理DataFlow图及Slot处理槽任务分配

背景 在flink中，有几个比较重要的概念，逻辑DataFlow图，物理DataFlow图以及处理槽执行任务，本文就来讲解下这几个概念 概念详解 假设有以下代码：数据源和统计单词算子的并行度是2，数据汇算子的并行度是1&…...

编程日记 2023/9/12 14:50:14

与面试相关的redis

这里写自定义目录标题 📝 redis的知识点数据结构及其特性，用途和操作方法持久化高可用分布式锁发布订阅性能优化安全性数据分片缓存策略键过期删除策略内存淘汰策略 🤗 总结归纳📎 参考文章 😀 这里写文章的前言&#…...

编程日记 2023/9/12 14:49:12

MapStruct从0到0.5

MapStruct从0到0.5 开发的过程，经常会用到实体类属性映射，同时为了方便，开发者也很少自己写专门的属性赋值工具类。索性会直接使用Sprrng提供的BeanUtils工具类，然后在性能上和字段属性赋值上的问题，一直是为开发者所…...

编程日记 2023/9/12 14:48:11

STM32H750 HAL CUBEMX 时钟失败及死机无法下载问题解决

芯片采样电压设置，否则 无法运行 解决死机问题 设置swd 模式 短接 boot0 —vcc 3.3v即可正常下载...

编程日记 2023/9/12 14:47:10

paddlespeech on centos7

概述 paddlespeech是百度飞桨平台的开源工具包，主要用于语音和音频的分析处理，其中包含多个可选模型，提供语音识别、语音合成、说话人验证、关键词识别、音频分类和语音翻译等功能。 paddlespeech整体是比较简单易用的，但是安装…...

编程日记 2023/9/12 14:46:09

ROM是什么？ 刷ROM是什么意思?

文章目录 ROM是什么？刷ROM是什么意思 ROM是什么？ ROM是只读内存（Read-Only Memory）的简称，是一种只能读出事先所存数据的固态半导体存储器。其特性是一旦储存资料就无法再将之改变或删除。通常用在不需经常变更资料的…...

编程日记 2023/9/12 14:45:07

华为云Stack的学习（五）

六、华为云stack服务简介 1.云服务在华为云Stack中的位置 云服务对接多个数据中心资源池层提供的资源，并向各种行业应用提供载体。 2.华为云Stack通用服务 2.1 云计算的服务模式 2.2 计算相关的云服务 2.3 存储相关的云服务 2.4 网络相关的云服务 3.云化案例 **…...

编程日记 2023/9/12 14:44:07

【LeetCode-中等题】904. 水果成篮

文章目录 题目方法一：滑动窗口方法二： 题目 题目的意思就是：找至多包含两种元素的最长子串，返回其长度 方法一：滑动窗口 class Solution { // 滑动窗口 找至多包含两种元素的最长子串，返回其长度public …...

编程日记 2023/9/12 14:43:06

【C++】哈希——哈希的概念，应用以及闭散列和哈希桶的模拟实现

前言： 前面我们一同学习了二叉搜索树，以及特殊版本的平衡二叉搜索树，这些容器让我们查找数据的效率提高到了O(log^2 N)。虽然效率提高了很多，但是有没有一种理想的方法使得我们能提高到O(1)呢？其实在C语言数据结构中&a…...

编程日记 2023/9/12 14:42:04

Kubernetes (K8s) 解读：微服务与容器编排的未来

🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖： 🛠️ 全栈技术 Full Stack: &#x1f4da…...

编程日记 2023/9/12 14:41:03

JavaScript学习--Day04

元字符 边界符： /^/：以什么开头 /$/：以什么结尾 量词： 预定义类：...

编程日记 2023/9/12 14:40:02

HCS 基本概念（三）

一、定义 HCS采用FusionSphere OpenStack作为云平台，对各个物理数据中心资源做整合，采用ManageOne作为数据中心管理软件对多个数据中心提供统一管理，通过云平台和数据中心管理软件协同运作，达到多数据中心融合、提升企业整体IT效率…...

编程日记 2023/9/12 14:39:00

通过curl命令分析http接口请求各阶段的耗时等

目录 一、介绍二、功能1、-v 输出请求 响应头状态码 响应文本等信息2、-x 测试代理ip是否能在该网站使用3、-w 额外输出查看接口请求响应的消耗时间4、-o 将响应结果存储到文件里面5、-X post请求测试 (没测成功用的不多) 一、介绍 Curl是一个用于发送和接收请求的命令行工具和…...

编程日记 2023/9/12 14:37:59

Linux工具——gcc

目录 一，gcc简介 二，C语言源文件的编译过程 1.预处理 2.编译 3.汇编 4.链接 5.动静态库 一，gcc简介 相信有不少的小白和我一样在学习Linux之前只听说过visual studio。其实这个gcc这个编译器实现的功能便是和visual studio一样的功能&…...

编程日记 2023/9/12 14:36:59

uni-app 使用uCharts-进行图表展示（折线图带单位）

前言 在uni-app经常是需要进行数据展示，针对这个情况也是有人开发好了第三方包，来兼容不同平台展示 uCharts和pc端的Echarts使用差不多，甚至会感觉在uni-app使用uCharts更轻便，更舒服 但是这个第三方包有优点就会有缺点&#xf…...

编程日记 2023/9/12 14:35:57

180B参数的Falcon登顶Hugging Face，vs chatGPT 最好开源大模型使用体验

文章目录 使用地址使用体验test1：简单喜好类问题test2：知识性问题test3：开放性问题test4：中文支持test5：问题时效性test6：学术问题使用地址 https://huggingface.co/spaces/tiiuae/falcon-180b-demo 使用体验 相比Falcon-7b，Falcon-180b拥有1800亿的参数量...

编程日记 2023/9/12 14:34:54

服务器数据恢复-EMC存储磁盘损坏的RAID5数据恢复案例

服务器数据恢复环境： 北京某单位有一台EMC某型号存储，有一组由10块STAT硬盘组建的RAID5阵列，另外2块磁盘作为热备盘使用。RAID5阵列上层只划分了一个LUN，分配给SUN小机使用，上层文件系统为ZFS。 服务器故障&#xff1…...

编程日记 2023/9/12 14:33:53

Nginx优化文件上传大小限制

Nginx默认配置 Nginx 默认情况下，上传文件的大小为1M，超过1M就会返回413错误。只用对Nginx进行简单配置即可解决问题。 优化Nginx文件上传大小限制 可以在Nginx配置文件中配置 client_max_body_size 配置项。 设置客户端请求正文允许的最大大小。如果…...

编程日记 2023/9/12 14:32:52

navicat SSH连接数据库报错: Putty key format too new

问题 下载 Putty 0.79 生成了密钥，但是在navicat 15 使用SSH通道连接数据库报错: Putty key format too new 错误原因和处理 原来是因为生成的私钥格式是 V3 ， navicat 15 只能识别 V2 所以，在 PuTTYgen Load 私钥，重新保存为 …...

编程日记 2023/9/12 14:31:51

基于大规模MIMO通信系统的半盲信道估计算法matlab性能仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 %EM算法收敛所需的迭代 nIter 1; Yp Y(:,1:L_polit,:); %与导频序列相对应的部分 q…...

编程日记 2023/9/12 14:30:50

自然语言处理学习笔记（九）———— OVV Recall Rate与 IV Recall Rate

目录 1.OVV Recall Rate 2. IV Recall Rate 1.OVV Recall Rate OOV指的是“未登录词”（Out Of Vocabulary），或者俗称的“新词”，也即词典未收录的词汇。如何准确切分00V，乃至识别其语义，是整个NLP领域的核…...

编程日记 2023/9/12 14:29:48

区块链正在开启一场回归商业，融合商业的新发展

对于区块链来讲，它其实同样在延续着这样一种发展路径。 　　正如上文所说，区块链正在开启一场回归商业，融合商业的新发展。 　　而欲要实现这一点，区块链就是要从底层算法，底层数据传输，底层体系的打造着手…...

编程日记 2023/9/12 14:28:47

【软考】系统集成项目管理工程师（三）信息系统集成专业技术知识③

一、云计算 1、定义 通过互联网来提供大型计算能力和动态易扩展的虚拟化资源；云是网络、互联网的一种比喻说法。是一种大集中的服务模式。 2、特点 （1）超大规模（2）虚拟化（3）高可扩展性&…...

编程日记 2023/9/12 14:27:46

js中如何判断一个对象是否为空对象？

聚沙成塔每天进步一点点 ⭐ 专栏简介⭐ 使用 Object.keys()⭐ 使用 for...in 循环⭐ 使用 JSON.stringify()⭐ 使用 ES6 的 Object.getOwnPropertyNames()⭐ 写在最后 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 记得点击上方或者右侧链接订阅本专栏哦 几何带…...

编程日记 2023/9/12 14:26:45

Linux SysRq 简介

文章目录 1. 前言2. 背景3. Linux SysRq3.1 SysRq 简介3.1.1 SysRq 初始化 3.2 通过 procfs 发起 SysRq 请求3.2.1 修改内核日志等级3.2.1.1 触发3.2.1.2 实现简析 3.2.2 手动触发内核 panic3.2.2.1 触发3.2.2.2 实现简析3.2.2.3 应用场景 3.2.3 其它 SysRq 请求 3.3 通过 特殊…...

编程日记 2023/9/12 14:25:43

Mac版本破解Typora，解决Mac安装软件的“已损坏，无法打开。 您应该将它移到废纸篓”问题

一、修改配置文件 首先去官网选择mac版本下载安装 typora下载 然后打开typora包内容找到 /Applications/Typora.app/Contents/Resources/TypeMark/ 编辑器打开上面文件夹，这里我拉到vscode 找到page-dist/static/js/Licen..如下图 输入 hasActivated"…...

编程日记 2023/9/12 14:24:42

elementui el-dialog 动态生成多个，点击按钮打开对应的 dialog

业务场景： 根据后端返回的数据，动态生成表单，返回的数据中会有表单字段的类型，如果单选、多选、富文本，其它的属性还好说，重点说在富文本，因为我想通过 dialog 弹窗的方式，进行富文…...

编程日记 2023/9/12 14:23:40

自己开发一个接口文档页面html

演示效果 具体代码如下 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>框架框架文档页面</…...

编程日记 2023/9/12 14:22:38

信息化发展28

区块链概述 区块链技术具有多中心化存储、隐私保护、防篡改等特点&#xff0c; 提供了开放、分散和容错的事务机制&#xff0c; 成为新一代匿名在线支付、汇款和数字资产交易的核心&#xff0c; 被广泛应用于各大交易平台&#xff0c; 为金融、监管机构、科技创新、农业以及政…...

编程日记 2023/9/12 14:21:36

React 入门实例教程

目录 一、HTML 模板 二、ReactDOM.render() 三、JSX 语法 四、组件 五、this.props.children 六、PropTypes 七、获取真实的DOM节点 八、this.state 九、表单 十、组件的生命周期 constructor() componentWillMount() render() componentDidMount() 组件生命周期…...

编程日记 2023/9/12 14:20:35

做电子商务网站注册哪一类商标/外包网络推广

palettable是一个纯python写的colormap颜色库，他的前生是brewer2mp，包含了matplotlib中部分色条，同时汇集了其它大量优美的色条； 本篇详细介绍python palettable颜色库中的colormap，适合所有的python绘图生态。 警告：部分篇幅比较大，请在目录跳传到感兴趣的章节。 目…...

编程日记 2024/10/31 19:03:54

找网站开发公司/色盲眼镜

1. 题目 2. 解答 2.1 方法 1 定义快慢两个指针&#xff0c;慢指针每次前进一步&#xff0c;快指针每次前进两步&#xff0c;若链表有环&#xff0c;则快慢指针一定会相遇。 /*** Definition for singly-linked list.* struct ListNode {* int val;* ListNode *next;* …...

编程日记 2024/10/31 18:18:23

网站服务器做缓存吗/手机如何制作自己的网站

详解Linux交互式shell脚本中创建对话框实例教程 本教程我们通过实现来讲讲Linux交互式shell脚本中创建各种各样对话框&#xff0c;对话框在Linux中可以友好的提示操作者&#xff0c;感兴趣的朋友可以参考学习一下。 当你在终端环境下安装新的软件时&#xff0c;你可以经常看到信…...

编程日记 2024/10/31 16:48:16

合肥做个网站什么价格/制作小程序的软件

雷帝网 雷建平 10月15日报道在苏宁小店获3亿美元增资之际&#xff0c;国内便利店行业正面临变局。知情人士日前向雷帝网透露&#xff0c;便利蜂近期获腾讯与高瓴大笔投资&#xff0c;估值16亿美元&#xff0c;腾讯与高瓴分别持股为8%。根据介绍&#xff0c;便利蜂由前去哪儿CEO…...

编程日记 2024/10/31 14:57:59

项目负责人质量建设厅官方网站/上海网站推广服务

在实际的项目中&#xff0c;图片的处理往往是最麻烦的&#xff0c;无论是前后台&#xff0c;我自己也试手了一两个图片上传的小项目&#xff0c;把步骤写下来&#xff0c;以后自己忘记可以返回来看一下&#xff0c;同时希望能够帮到小伙伴们... 前端网页 框架&#xff1a; vue …...

编程日记 2024/10/31 11:00:33

做网站需要哪些成本/广州白云区疫情实时动态

excel怎么冻结前两行不动?其实只要直接使用冻结窗格功能就可以了。下面我们来学习一下。冻结窗口怎么冻结多行步骤1、打开excel文件&#xff0c;例如这个表格。步骤2、只冻结前两行需要选中第三行&#xff0c;选择【视图】-【冻结窗格】&#xff1b;步骤3、在三角处打开&#…...

编程日记 2024/10/31 9:25:10