spark3.0源码分析-driver-executor心跳机制
前言
driver和executor心跳机制分为两种机制：
1、executor发送心跳机制
2、driver接受心跳机制
至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要有executor心跳超时机制，同样如果是driver端宕机或者GC导致executor无法成功发送心跳，那么executor也有自己的超时结束进程的机制
1、executor心跳机制
executor向driver发送心跳的间隔默认[spark.executor.heartbeatInterval]：10s
心跳异常次数超过默认阈值[spark.executor.heartbeat.maxFailures]：60次
当超过阈值后executor会自杀，意味着executor会重试发送大约10分钟的心跳，但大部分不会发送到10分钟
因为driver在120s内没有接收到executor的请求后就会主动杀死executor进程[dirver心跳机制]，所以10分钟的场景适用于driver端挂掉的情况下executor自杀，退出错误码为56。
executor自动退出码：56
例如下图：生产中executor连接超时日志
2、driver心跳机制
driver对executor心跳的检测机制：当driver端检测到executor最后一次心跳时间距今超过了[spark.network.timeout]120s，则启动一个线程杀死executor进程[杀死的过程是请求集群管理器进行处理]
此时executor被杀死后的退出码应该是：143
生产中driver日志：
相关文章：
spark3.0源码分析-driver-executor心跳机制
前言 driver和executor心跳机制分为两种机制： 1、executor发送心跳机制 2、driver接受心跳机制 至于为何要分为两种，原因是在分布式场景中，服务的稳定性是无法保障的，例如executor宕机后无法发送心跳，故driver端需要…...
数据分析就要选择这款免费报表工具
对于一家企业来说，在日常运营的过程中本身就会产出很多的数据，那么这些数据本身就应该形成报表。可是如果只是选择手工的一种操作，确实需要浪费大量的人力物力。伴随着科技进入到快速发展的阶段，市面上更是出现了很多报表工具可以…...
node学习-3:服务器渲染和客户端渲染
1. 概念 一.服务端渲染，后端嵌套模板，后端渲染模板，SSR（后端把页面组装好） 做好静态页面，动态效果 把前端代码提供给后端，后端则把静态html以及里面的假数据给删除掉 通过模板进行动态生成h…...
LeetCode刷题笔记和周赛题解总目录
之前一段时间一直在刷LeetCode，在上面积累了很多笔记，这些笔记是做题过程中的一些重要积累和心得，现在将它们汇总和总结至此，此博客将不断更新。 刷题笔记(提供md和pdf两种格式可供下载，不断更新) LeetCode刷题笔记 …...
用类比方式学习编程中函数递归（个人理解仅供参考）（内含汉诺塔问题的求解）
目录 1.前言 2.递归的数学模型 3.相关的c语法 4.将递归的数学模型写成编程语言 5.利用类比方法将实际问题的代码写成函数递归的形式 例1: 例2: 6.汉诺塔问题的求解 1.前言 本人在学习函数递归编程方法的过程中，发现用类比的方式学习递归法可帮助我们在各种编…...
【云原生之Docker实战】使用Docker部署Taskover开源个人任务管理工具
【云原生之Docker实战】使用Docker部署Taskover 开源个人任务管理工具 一、Taskover介绍1.Taskover 简介2.Taskover功能二、检查本地docker环境1.检查系统版本2.检查docker版本3.检查docker状态4.检查docker compose版本三、下载Taskover镜像四、部署Taskover应用1.创建安装目录…...
5、SQL编程开发与注意事项
1.1 导入数据 导入测试库： 文档地址： https://dev.mysql.com/doc/employee/en/sakila-structure.html下载地址： https://github.com/datacharmer/test_db导入测试库： mysql -uroot -p -S < employees.sql 1.2 库操作 增：create database test character set utf8;删：d…...
Allegro如何通过视图显示区分动态和静态铜皮操作指导
Allegro如何通过视图显示区分动态和静态铜皮操作指导 用Allegro做PCB设计的时候，通常动态和静态铜皮是无法通过视图显示区分的，只能通过show element查看得知，如下图 左边铜皮是动态铜皮，右边是静态铜皮 但Allegro可以通过一些设置让动静态铜皮以不同效果显示出来 具体操…...
测试开发之Django实战示例 第十一章 渲染和缓存课程内容
第十一章 渲染和缓存课程内容在上一章中，使用了模型继承和通用关系建立弹性的课程、章节和内容的关联数据模型，并且建立了一个CMS系统，在其中使用了CBV，表单集和AJAX管理课程内容。在这一章将要做的事情是：创建公开对外…...
90%企业在探索的敏捷开发怎么做？极狐GitLab总结了这些逻辑与流程
本文来自： 彭亮 极狐(GitLab) 高级产品经理 毛超 极狐(GitLab) 研发工程师 极狐(GitLab) 市场部内容团队 “敏捷” 是指能够驾驭变化，保持组织竞争优势的一种能力。自 2001 年《敏捷宣言》以来，敏捷及敏捷开发理念逐渐席卷全球。中国信通院《…...
LeetCode-257. 二叉树的所有路径
目录题目分析递归法题目来源 257. 二叉树的所有路径 题目分析 前序遍历以及回溯的过程如图： 递归法 1.递归函数参数以及返回值 要传入根节点，记录每一条路径的path，和存放结果集的result，这里递归不需要返回值，代…...
测试用例该怎么设计？—— 日常加更篇（下）
😏作者简介：博主是一位测试管理者，同时也是一名对外企业兼职讲师。 📡主页地址：【Austin_zhai】 🙆目的与景愿：旨在于能帮助更多的测试行业人员提升软硬技能，分享行业相关最新信息。…...
Java基础:接口
1.接口的概念 当不是所有子类, 而是多个子类都包含一个方法时, 为了代码书写规范性, 可以用自定义的接口来统一该方法的书写规范. 所以接口可以看作是一种书写规则. 接口是对行为的抽象 抽象类一般是书写在父类当中, 接口是单独书写的, 不是一种类 2.接口的定义和使用 3.接口…...
vuex基础入门:uniapp实现用户登录授权实战
1.背景 vuex是数据共享方案之一,本文以微信小程序登录授权为例介绍一下vuex常用属性state、getters、mutations、actions. 2.基于uniapp实现微信小程序登录授权流程 1.凡是需要用户登录授权信息的页面创建时created方法中需要判断用户是否登录,需要使用本地缓存的token调用服务…...
Windows系统从权限维持角度进行应急响应
一、基本介绍 红队攻击者在对目标进行渗透利用后通常都会进行权限维持，以达到持续利用的目的。而作为防守方进行应急响应时，应该如何与技术高超（jiaohuajianzha）的攻击者斗智斗勇呢？或许可以通过本文可以找到答案。以…...
什么是DNS解析？如何提升DNS解析安全？
DNS解析是保障网站正常运行的一项重要服务，DNS解析出现故障，就会导致网站无法被访问或者被劫持到其他的站点，对业务正常开展造成很大影响，因此网站管理人员要高度关注DNS解析的安全，才能确保网站的正常运转，…...
电路学习笔记
电源部分 2s锂电池 6.4v-8.4v INA180A2IDBVR 电流检测放大器 OUT ADC1_CH0 to ESP32 可能功能：电源电流监测 稳压/电压监测 OUT ADC1_CH1 to ESP32 降压至2.046v-2.686v并通过电容保持稳定 可能功能：降压模块,电压监测 LDO ASM1117-3.3 低压差线性…...
C# 数据结构
目录 一、介绍 二、数组 三、List（列表） 四、Dictionary（字典） 五、Queue（队列） 六、Stack（栈） 七、Hashtable（哈希表） 结束 一、介绍 数据结构是计…...
powerjob的worker启动，研究完了这块代码之后我发现了，代码就是现实中我们码农的真实写照
这是一篇让你受益匪浅的文章，代码即使人生。 worker启动比server启动要复杂一些，毕竟worker是要实际干活的，工欲善其事必先利其器，所以需要准备的工具还是不能少的，server对于powerjob来说，只是一个调度用的…...
配置Qt Creator
前言 为了使Qt Creator更像您最喜欢的代码编辑器或IDE，您可以更改键盘快捷键、配色方案、通用高亮显示、代码片段和版本控制系统的设置。 检查生成和运行设置 Qt Creator是一个集成开发环境(IDE)，可以用来开发Qt应用程序。虽然您可以使用Qt Installer…...
变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析
一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析 安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
Ascend NPU上适配Step-Audio模型
1 概述 1.1 简述 Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如 中文，英文，日语），语音情感（如 开心，悲伤）&#x…...
DeepSeek 技术赋能无人农场协同作业：用 AI 重构农田管理 “神经网”
目录 一、引言二、DeepSeek 技术大揭秘2.1 核心架构解析2.2 关键技术剖析 三、智能农业无人农场协同作业现状3.1 发展现状概述3.2 协同作业模式介绍 四、DeepSeek 的 “农场奇妙游”4.1 数据处理与分析4.2 作物生长监测与预测4.3 病虫害防治4.4 农机协同作业调度 五、实际案例大…...
Java线上CPU飙高问题排查全指南
一、引言 在Java应用的线上运行环境中，CPU飙高是一个常见且棘手的性能问题。当系统出现CPU飙高时，通常会导致应用响应缓慢，甚至服务不可用，严重影响用户体验和业务运行。因此，掌握一套科学有效的CPU飙高问题排查方法&…...
让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中，损失函数的选择对模型性能具有决定性影响。均方误差（MSE）作为经典的损失函数，在处理干净数据时表现优异，但在面对包含异常值的噪声数据时，其对大误差的二次惩罚机制往往导致模型参数…...
A2A JS SDK 完整教程：快速入门指南
目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库ÿ…...
怎么让Comfyui导出的图像不包含工作流信息，
为了数据安全，让Comfyui导出的图像不包含工作流信息，导出的图像就不会拖到comfyui中加载出来工作流。 ComfyUI的目录下node.py 直接移除 pnginfo（推荐） 在 save_images 方法中，删除或注释掉所有与 metadata …...
STM32---外部32.768K晶振（LSE）无法起振问题
晶振是否起振主要就检查两个1、晶振与MCU是否兼容；2、晶振的负载电容是否匹配 目录 一、判断晶振与MCU是否兼容 二、判断负载电容是否匹配 1. 晶振负载电容（CL）与匹配电容（CL1、CL2）的关系 2. 如何选择 CL1 和 CL…...
API网关Kong的鉴权与限流：高并发场景下的核心实践
🔥「炎码工坊」技术弹药已装填！ 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 引言 在微服务架构中，API网关承担着流量调度、安全防护和协议转换的核心职责。作为云原生时代的代表性网关，Kong凭借其插件化架构…...