当前位置： 首页 > news >正文

弹性资源组件elastic-resource设计(二)-集群

news 2026/2/7 15:23:30

简介

       弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。

       本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一) 集群与资源@k8s》，抽出作业管理器，包括其内部的调度器，通用化为资源消费者，标准化与资源管理器和任务管理器的交互接口；增加约束，如，组件间通讯rpc组件，高可用组件，心跳组件等，最大程度使用原flink代码，后续的迭代不断标准化，抽象化交互接口，支持不同的实现。

关键词

资源消费者/资源管理器/任务管理器  弹性资源组件关联的3个主要角色

参考资料

相关文章：

弹性资源组件elastic-resource设计(二)-集群

简介 弹性资源组件提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。 本文介绍弹性资源组件的设计，包括架构设计和详细设计，指导开发人员代码开发，设计基于《flink原理源码分析(一…...

编程日记 2023/10/9 16:56:50

Flink学习笔记（一）：Flink重要概念和原理

文章目录 1、Flink 介绍2、Flink 概述3、Flink 组件介绍3.1、Deploy 物理部署层3.2、Runtime 核心层3.3、API&Libraries 层3.4、扩展库 4、Flink 四大基石4.1、Checkpoint4.2、State4.3、Time4.4、Window 5、Flink 的应用场景5.1、Event-driven Applications【事件驱动】5.…...

编程日记 2023/10/9 16:54:48

网络中的一些基本概念

数据共享本质是网络数据传输 ，即计算机之间通过网络来传输数据，也称为 网络通信 。 根据网络互连的规模不同，可以划分为局域网和广域网。 局域网 LAN 局域网，即 Local Area Network ，简称 LAN 。 Local 即标识了局…...

编程日记 2023/10/9 16:53:47

mysql中varchar长度为多少

一. varchar存储规则： 4.0版本以下，varchar(20)，指的是20字节，如果存放UTF8汉字时，只能存6个（每个汉字3字节） 5.0版本以上，varchar(20)，指的是20字符，无论存…...

编程日记 2023/10/9 16:52:46

python+selenium实现UI自动化（入门篇）

一、基础准备。 python环境安装，参考：CSDN pycharm安装，参考：CSDN 谷歌浏览器驱动配置，参考：CSDN二、新建pycharm项目 截图中，上面是项目地址（可以提前在指定位置创建文件夹&#xf…...

编程日记 2023/10/9 16:51:45

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict

深度学习基础知识 nn.Sequential ｜ nn.ModuleList ｜ nn.ModuleDict 1、nn.Sequential 、 nn.ModuleList 、 nn.ModuleDict 类都继承自 Module 类。2、nn.Sequential、nn.ModuleList 和 nn.ModuleDict语法3、Sequential 、ModuleDict、 ModuleList 的区别…...

编程日记 2023/10/9 16:50:44

【DevOps】搭建你的第一个 Docker 应用栈

搭建你的第一个 Docker 应用栈 1.Docker 集群部署2.第一个 Hello World2.1 获取应用栈各节点所需镜像2.2 应用栈容器节点互联2.3 应用栈容器节点启动2.4 应用栈容器节点的配置2.4.1 Redis Master 主数据库容器节点的配置2.4.2 Redis Slave 从数据库容器节点的配置2.4.3 Redis 数…...

编程日记 2023/10/9 16:48:42

软件测试职业生涯需要编写的全套文档模板，收藏这一篇就够了 ~

作为一名测试工程师，在整个的职业生涯中，会涉及到各种不同类型的文档编写，大体包括如下： 对应文档模板及文档编写视频如下： 一、测试岗位必备的文档 在一个常规的软件测试流程中，会涉及到测试计划、测试方…...

编程日记 2023/10/9 16:47:40

【Kubernetes】Pod——k8s中最重要的对象之一

Pod是什么？如何使用Pod？资源共享和通信Pod 中的存储Pod 联网：跨 Pod 通信 静态 Pod感谢 💖 Pod是什么？ Pod是k8s中创建和管理的、最小的可部署的计算单元。它包含一个或多个容器。就像豌豆荚里面包含了多个豌豆一样。…...

编程日记 2023/10/9 16:46:39

vue-cli-service: command not found问题解决

解决方案：重新安装一下： npm install -g vue/cli...

编程日记 2023/10/9 16:44:36

每日一练 | 华为认证真题练习Day117

1、缺省情况下，广播网络上OSPF协议Deadtime是？ A. 20s B. 40s C. 10s D. 30s 2、当两台OSPF路由器形成TWO-WAY邻居关系时，LSDB已完成同步，但是SPF算法尚未运行。 A. 对 B. 错 3、以下哪种协议不属于文件传输协？ …...

编程日记 2023/10/9 16:43:36

【JVM】垃圾回收（GC）详解

垃圾回收（GC）详解 一. 死亡对象的判断算法1. 引用计数算法2. 可达性分析算法 二. 垃圾回收算法1. 标记-清除算法2. 复制算法3. 标记-整理算法4. 分代算法 三. STW1. 为什么要 STW2. 什么情况下 STW 四. 垃圾收集器1. CMS收集器（老年代收集器&…...

编程日记 2023/10/9 16:42:35

阿里云服务器公网带宽多少钱1M？

阿里云服务器公网带宽计费模式按固定带宽”计费多少钱1M？地域不同带宽价格不同，北京、杭州、深圳等大陆地域价格是23元/Mbps每月，中国香港1M带宽价格是30元一个月，美国硅谷是30元一个月，日本东京1M带宽是25元一个月&am…...

编程日记 2023/10/9 16:41:34

应用DeepSORT实现目标跟踪

在ByteTrack被提出之前，可以说DeepSORT是最好的目标跟踪算法之一。本文，我们就来应用这个算法实现目标跟踪。 DeepSORT的官方网址是https://github.com/nwojke/deep_sort。但在这里，我们不使用官方的代码，而使用第三方代码&#…...

编程日记 2023/10/9 16:39:32

Beyond Compare 4 30天评估到期 解决方法

Beyond Compare 4 用习惯了，突然提示评估到期了，糟心😄 该方法将通过修改注册表，使BeyondCompare 版本4可以恢复到未评估状态，使其可以持续使用30天评估😄。 修改注册表 第一步：打开注册表。 在…...

编程日记 2023/10/9 16:38:30

化妆品用乙基己基甘油全球市场总体规模2023-2029

乙基己基甘油又名辛氧基甘油，分子式 C11H24O3，分子量 204.306，沸点 325℃，密度 0.962，无色液体，涂抹性能适中的润肤剂、保湿剂及润湿剂。它能够在提高配方滋润效果的同时又具有柔滑的肤感。加入在某些膏霜体…...

编程日记 2023/10/9 16:37:29

springboot家政服务管理平台springboot29

大家好✌！我是CZ淡陌。一名专注以理论为基础实战为主的技术博主，将再这里为大家分享优质的实战项目，本人在Java毕业设计领域有多年的经验，陆续会更新更多优质的Java实战项目，希望你能有所收获，少走一些弯路…...

编程日记 2023/10/9 16:35:27

【网络安全】如何保护IP地址？

使用防火墙是保护IP地址的一个重要手段。防火墙可以监控和过滤网络流量，并阻止未经授权的访问。一家网络安全公司的研究显示，超过80%的企业已经部署了防火墙来保护他们的网络和IP地址。 除了防火墙，定期更新操作系统和应用程序也是保护IP地址…...

编程日记 2023/10/9 16:34:25

2023年失业了，想学一门技术可以学什么？

有一个朋友，大厂毕业了，原本月薪估计有5w吧，年终奖也不错，所以早早的就买了房生了娃，一直是人生赢家的姿态。 但是今年突然就被毕业了，比起房货还有个几百万没还来说，他最想不通的是自己的价值…...

编程日记 2023/10/9 16:33:23

MySQL-MVCC（Multi-Version Concurrency Control）

MySQL-MVCC（Multi-Version Concurrency Control） MVCC（多版本并发控制）：为了解决数据库并发读写和数据一致性的问题，是一种思想，可以有多种实现方式。 核心思想：写入时创建行的新版…...

编程日记 2023/10/9 16:32:21

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明：假设每台服务器已…...

编程新知 2026/2/5 3:37:56

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...

编程新知 2026/2/5 21:09:35

CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型

CVPR 2025 | MIMO：支持视觉指代和像素对齐的医学视觉语言模型 论文信息 标题：MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output作者：Yanyuan Chen, Dexuan Xu, Yu Hu…...

编程新知 2025/10/6 14:17:21

pam_env.so模块配置解析

在PAM（Pluggable Authentication Modules）配置中， /etc/pam.d/su 文件相关配置含义如下： 配置解析 auth required pam_env.so1. 字段分解 字段值说明模块类型auth认证类模块，负责验证用户身份&am…...

编程新知 2025/10/5 8:09:39

Linux云原生安全：零信任架构与机密计算

Linux云原生安全：零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言：云原生安全的范式革命 随着云原生技术的普及，安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测，到2025年，零信任架构将成为超…...

编程新知 2025/8/17 17:11:47

大学生职业发展与就业创业指导教学评价

这里是引用 作为软工2203/2204班的学生，我们非常感谢您在《大学生职业发展与就业创业指导》课程中的悉心教导。这门课程对我们即将面临实习和就业的工科学生来说至关重要，而您认真负责的教学态度，让课程的每一部分都充满了实用价值。 尤其让我…...

编程新知 2025/11/16 1:39:27

AspectJ 在 Android 中的完整使用指南

一、环境配置（Gradle 7.0 适配） 1. 项目级 build.gradle // 注意：沪江插件已停更，推荐官方兼容方案 buildscript {dependencies {classpath org.aspectj:aspectjtools:1.9.9.1 // AspectJ 工具} } 2. 模块级 build.gradle plu…...

编程新知 2025/7/7 22:33:57

Device Mapper 机制

Device Mapper 机制详解 Device Mapper（简称 DM）是 Linux 内核中的一套通用块设备映射框架，为 LVM、加密磁盘、RAID 等提供底层支持。本文将详细介绍 Device Mapper 的原理、实现、内核配置、常用工具、操作测试流程，并配以详细的…...

编程新知 2025/12/14 13:11:33

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时，遇到的一些问题总结一下 [参考文档]：https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现： 今天在看到这个教程的时候，在自己的电…...

编程新知 2026/1/31 6:53:53

DBLP数据库是什么？

DBLP（Digital Bibliography & Library Project）Computer Science Bibliography是全球著名的计算机科学出版物的开放书目数据库。DBLP所收录的期刊和会议论文质量较高，数据库文献更新速度很快，很好地反映了国际计算机科学学术研…...

编程新知 2026/2/4 20:54:56