当前位置： 首页 > news >正文

flink集群与资源@k8s源码分析-总述

news 文章来源：https://blog.csdn.net/szlhj/article/details/133066103 2025/1/18 21:01:54

1 简介

集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。

本文分析基于flink 1.17版本，不同版本代码差异比较大

2 关键词

作业管理器

资源管理器

任务管理器

3 参考资料

flink官方网站 https://flink.apache.org/

4 flink整体架构

上图展示flink整体架构，本文分析集群和资源

5 flink运行架构

运行架构，按调用顺序展示flink集群启动，作业提交处理组件互动

总体上，集群是mater-worker架构，上图是flink的抽象架构，一个优秀架构可以抽象，第六章介绍架构”具体” k8s实现

6 flink@k8s运行架构

相关文章：

flink集群与资源@k8s源码分析-总述

1 简介 集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉…...

编程日记 2023/9/21 16:59:45

LeetCode 0213. 打家劫舍 II：动动态规划

【LetMeFly】213.打家劫舍 II：动动态规划 力扣题目链接：https://leetcode.cn/problems/house-robber-ii/ 你是一个专业的小偷，计划偷窃沿街的房屋，每间房内都藏有一定的现金。这个地方所有的房屋都 围成一圈 ，这意味…...

编程日记 2023/9/21 16:57:43

VMware17 不可恢复错误mks解决方案

用的虚拟机VMware17版本，然后运行带HDR的unity程序，结果报错 网上找了很多解决方案，都没用。毕竟需要在不放弃虚拟机3D加速的情况下运行。 最终皇天不负有心人，亲测有效的方法： 在虚拟机名字.vmx文件里添加以下2行&a…...

编程日记 2023/9/21 16:56:42

【深度学习】 Python 和 NumPy 系列教程（廿五）：Matplotlib详解：3、多子图和布局：subplot()函数

目录 一、前言 二、实验环境 三、Matplotlib详解 1、2d绘图类型 2、3d绘图类型 3、多子图和布局 1. subplot()函数 简单示例 一、前言 Python是一种高级编程语言，由Guido van Rossum于1991年创建。它以简洁、易读的语法而闻名，并且具有强大的功能…...

编程日记 2023/9/21 16:55:41

计算机网络知识补充(1)

计算机网络:是一个将分散的，具有独立功能的计算机系统，通过通信设备和线路进行连接起来，由功能完善的软件实现资源共享和信息共享的系统，计算机网络是互连的，自治的计算机集合 互连:通过通信链路来进行互联互通 自治:没…...

编程日记 2023/9/21 16:54:38

C# Onnx Yolov8 Pose 姿态识别

效果 项目 代码 using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using OpenCvSharp; using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System…...

编程日记 2023/9/21 16:53:37

7.algorithm2e中while怎么使用

algorithm2e中while怎么使用 在 algorithm2e 宏包中，要使用 while 循环，您可以使用 \While 和 \EndWhile 命令来定义循环的开始和结束。以下是如何使用 while 循环的示例： \documentclass{article} \usepackage[linesnumbered,boxed]{algorit…...

编程日记 2023/9/21 16:52:36

Flask狼书笔记 | 08_个人博客（下）

文章目录 8 个人博客8.4 初始化博客8.5 使用Flask-Login管理用户认证8.6 CSRFProtect实现CSRF保护8.7 编写博客后台小结 8 个人博客 8.4 初始化博客 1、安全存储密码 密码不要以明文的形式直接存储在数据库中，以防被攻击者盗取、泄露。一般的做法是，不…...

编程日记 2023/9/21 16:51:35

机器学习第十课--提升树

一.Bagging与Boosting的区别 在上一章里我们学习了一个集成模型叫作随机森林，而且也了解到随机森林属于Bagging的成员。本节我们重点来学习一下另外一种集成模型叫作Boosting。首先回顾一下什么叫Bagging? 比如在随机森林里，针对于样本数据，…...

编程日记 2023/9/21 16:50:34

react scss.modules中使用iconfont

全局引入详见全局引入scss 全局的scss文件中引入iconfont.css use "../font/iconfont.css"; 然后就可以正常使用啦...

编程日记 2023/9/21 16:49:33

使用Jmeter+ant进行接口自动化测试(数据驱动)

最近在做接口测试，因为公司有使用jmeter做接口测试的相关培训资料，所以还是先选择使用jmeter来批量管理接口，进行自动化测试。话不多说，进入正题： 1.使用csv文件保存接口测试用例，方便后期对接口进行维护&…...

编程日记 2023/9/21 16:48:32

可视化图表组件之股票数据分析应用

股市是市场经济的必然产物，在一个国家的金融领域之中有着举足轻重的地位。在过去，人们对于市场走势的把握主要依赖于经验和直觉，往往容易受到主观因素的影响，导致决策上出现偏差。如今，通过数据可视化呈现，…...

编程日记 2023/9/21 16:46:29

STM32 ~ GPIO不同模式之间的区别与实现原理

GPIO全称General Purpose Input Output ，即通用输入/输出。其实GPIO的本质就是芯片的一个引脚，通常在ARM中所有的I/O都是通用的。不过，由于每个开发板上都会设计不同的外围电路，这就造成了GPIO的功能可能有所不同。大部分GPIO都是…...

编程日记 2023/9/21 16:45:28

dvwa靶场通关（十二）

第十二关：Stored Cross Site Scripting (XSS)（存储型xss） low 这一关没有任何防护，直接输入弹窗代码 弹窗成功 medium 先试试上面的代码看看，有没有什么防护 发现我们的script标签不见了，应该是被过滤掉…...

编程日记 2023/9/21 16:44:26

【shell学习】企业运维工作中常用的shell脚本

本站以分享各种运维经验和运维所需要的技能为主 《python零基础入门》：python零基础入门学习 《python运维脚本》： python运维脚本实践 《shell》：shell学习 《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战 《k8…...

编程日记 2023/9/21 16:43:25

对权限的理解和使用

目录 一：用户权限： ★su命令 ★sudo命令 二：文件权限 ★文件的类型权限 ★文件夹的权限的使用 ▲文件夹的可读权限： ▲文件夹的可写权限： ▲文件夹的可执行权限： ★权限的修改操作 ▲chmod命令 ★对于文件的…...

编程日记 2023/9/21 16:42:24

MySQL 5.7 通过数据库idb文件快速导入至另一台数据库

前言 数据库有一张表里有1000万条数据，通过sql导入会非常缓慢，如果数据库版本相同，迁移表可以通过复制表idb文件实现快速迁移。 一、系统环境 原服务器系统：centos7.4 原服务器数据库版本：MySQL5.7.21 新服务器系统…...

编程日记 2023/9/21 16:41:22

第一章 计算机网络基础

目录 1.1 网络体系结构 1.1.1 OSI/RM七层参考模型 1.1.2 OSI/RM和TCP/IP模型的比较 1.1.3 五层协议的体系结构 1.1.4 计算机1向计算机2发送数据过程 1.1.5 TCP/IP体系结构的具体实现 1.2 网络设备概述 1.2.1 互联设备与OSI的对应关系 1.2.2 集线器(HUB) 1.2.3 网桥(B…...

编程日记 2023/9/21 16:40:21

本地电脑搭建SFTP服务器，并实现公网访问

本地电脑搭建SFTP服务器，并实现公网访问 文章目录 本地电脑搭建SFTP服务器，并实现公网访问1. 搭建SFTP服务器1.1 下载 freesshd 服务器软件1.3 启动SFTP服务1.4 添加用户1.5 保存所有配置 2. 安装SFTP客户端FileZilla测试2.1 配置一个本地SFTP站点2.2 内…...

编程日记 2023/9/21 16:39:19

易基因直播预告｜细菌微生物基因表达调控表观研究易基因科技

大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 DNA甲基化是在半个多世纪前在细菌中发现的。DNA碱基可以作为一个表观遗传调节因子——也就是说，它可以赋予相同的基因序列不同的和可逆的调控状态。在真核生物中，…...

编程日记 2023/9/21 16:38:18

Flask在线部署ChatGLM2大模型

1、 拉取镜像 docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_2_0:mindformers_0.6.0dev_20230616_py39_372、 新建docker.sh -p 8000:8000 是宿主机映射到镜像8000端口 如果添加–ipchost --nethost 会和-p冲突 # --device用于控制…...

编程日记 2023/9/21 16:37:16

浅谈Vue3——父子组件传值

引言 Vue.js是一款流行的JavaScript框架，用于构建用户界面。它提供了一种简洁、灵活的方式来管理和渲染数据。在Vue3中，父子组件之间的数据传递是一个常见的需求。本文将介绍如何在Vue3中传递对象，并且在子组件中访问和修改父组件对象中的属…...

编程日记 2023/9/21 16:36:15

Wolfram语言之父：ChatGPT到底能做什么？ | 阿Q送书第六期

文章目录 那么，ChatGPT到底在做什么？它为什么能做到这些？前方的路为ChatGPT赋予“思想”留言提前获赠书 人类语言及其背后的思维模式在结构上比我们想象的更简单、更“符合规律”。 ChatGPT大火，甚至已经开始改变人类的工作和思考…...

编程日记 2023/9/21 16:35:14

antd a-list 添加分页

会分为三部分 template <a-list item-layout"horizontal" :data-source"localData" :pagination"{...paginationProps,current:currentPage}"><a-list-item slot"renderItem" slot-scope"item"><a-list-ite…...

编程日记 2023/9/21 16:34:12

MySQL注入绕安全狗脚本 -- MySQLByPassForSafeDog，以及端口爆破工具 -- PortBrute配置使用

工具介绍 此Tamper仅仅适用于MySQL数据库&#xff0c;在SQLMap使用过程中添加参数–tamperMySQLByPassForSafeDog。 安装与使用 1、安装网站安全狗Apache最新版 2、启用安全狗&#xff0c;不加MySQLByPassForSafeDog绕狗Tamper: python sqlmap.py -u "http://192.168.…...

编程日记 2023/9/21 16:33:11

R语言绘制热图

1、初步绘图 rm(listls())#clear Global Environment setwd(D:/Desktop/0000/code-main/热图)#设置工作路径#加载R包 library (pheatmap) #读取数据 df <- read.table(file"data.txt",sep"\t",row.names 1, headerT,check.namesFALSE) #查看前3行 hea…...

编程日记 2023/9/21 16:32:09

jmeter线程组 bzm - Concurrency Thread Group 阶梯式压测

简介 bzm - Concurrency Thread Group 不是JMeter的官方插件&#xff0c;而是一种由Blazemeter提供的高级线程组插件&#xff0c;它提供了更灵活的并发性能测试设置。它可以在不同的时间内并发执行不同数量的线程&#xff0c;模拟不同的负载场景。 插件下载地址&#xff08;jme…...

编程日记 2023/9/21 16:31:08

计算即时订单比例-首单使用开窗函数row_number()

1 需求 即时订单和计划订单 订单配送中&#xff0c;如果期望配送日期和下单日期相同&#xff0c;称为即时订单&#xff0c;如果期望配送日期和下单日期不同&#xff0c;称为计划订单。 请从配送信息表&#xff08;delivery_info&#xff09;中求出每个用户的首单&#xff08;用…...

编程日记 2023/9/21 16:30:06

flink集群与资源@k8s源码分析-集群

0 介绍 本文是flink集群与资源@k8s源码分析系列的第二篇-集群 1 场景 下面详细分析各用例 2 启动k8s集群 k8s集群支持session和application模式，job模式将会被废弃，本文分析session模式集群 Configuration作为配置容器，几乎所有的构建需要从配置类获取配置项，这里不显示…...

编程日记 2023/9/21 16:29:05

商城开发：商城系统的哪些功能值得企业去关注？

电子商务行业的快速发展&#xff0c;企业们越来越重视建设自己的在线商城。选择一个功能强大的商城系统对于企业的成功至关重要。那么&#xff0c;有哪些商城系统的功能值得企业去关注呢&#xff1f; 一、用户体验提升 ①. 响应式设计 移动设备的普及&#xff0c;大部分用户通…...

编程日记 2023/9/21 16:28:04

盐山网站建设/seo排名优化工具推荐

澄清P问题、NP问题、NPC问题的概念 作者:matrix67 日期:2006-08-28 字体大小: 小 中 大这或许是众多OIer最大的误区之一。你会经常看到网上出现“这怎么做&#xff0c;这不是NP问题吗”、“这个只有搜了&#xff0c;这已经被证明是NP问题了”之类的话。你要知道&#xff0c;大…...

编程日记 2025/1/18 19:08:12

宣传片制作公司排行榜/河南靠谱seo地址

原创文章&#xff0c;欢迎转载。转载请注明&#xff1a;转载自IT人故事会&#xff0c;谢谢&#xff01;原文链接地址&#xff1a;『中级篇』docker企业版本地安装之UCP&#xff08;57&#xff09;安装虚拟机&#xff0c;准备安装docker ee&#xff0c;源码&#xff1a;github.c…...

编程日记 2025/1/18 17:24:14

可以做vx数独的网站/sem推广代运营

windbg 调试子进程 学习过程中遇到了一个从前未调试过的情景&#xff1a;我正在调试的进程通过CreateProcessW创建了一个子进程&#xff0c;我需要去了解子进程中发生的行为。 那么怎么去调试呢&#xff1f;OD 就有点麻烦了&#xff0c;要patch cc然后 用JIT模式的OD去调试。所…...

编程日记 2025/1/18 14:47:42

企业简介/教程推广优化网站排名

JAVA基础 JAVA异常分类及处理异常分类异常的处理方式Throw和throws的区别JAVA反射动态语言反射机制概念 &#xff08;运行状态中知道类所有的属性和方法&#xff09;Java反射API反射使用步骤&#xff08;获取Class对象、调用对象方法&#xff09;获取Class对象的3种方法创建对…...

编程日记 2025/1/18 13:00:50

智慧团建官方网站电脑版/国内优秀网页设计赏析

域环境&#xff0c;俩DC&#xff0c;A主域控&#xff0c;B额外域控&#xff0c; 公司搬迁&#xff0c;把A主域控搬至外地&#xff0c;留B辅域控在本地&#xff0c;结果出现部分用户无法登陆的情况。 没办法&#xff0c;搬迁工作准备不足&#xff0c;只好在辅域控上做了出下操作…...

编程日记 2025/1/18 6:47:33

网站改版需求/搜索引擎优化的目的是

最近几天有点忙&#xff0c;所以我们今天来一篇短的&#xff0c;简单地介绍一下数据库设计中的一种模式——Soft Delete。 可以说&#xff0c;该模式毁誉参半&#xff0c;甚至有非常多的人认为该模式是一个Anti-Pattern。因此在本篇文章中&#xff0c;我们不仅仅会对该模式进行…...

编程日记 2025/1/18 6:15:07