当前位置： 首页 > news >正文

There are 4 missing blocks. The following files may be corrupted

news 文章来源：https://blog.csdn.net/weixin_46039745/article/details/135236881 2025/1/18 14:56:07

There are 4 missing blocks. The following files may be corrupted

Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

步骤1，检查文件缺失情况
hadoop fsck /tmp/logs/root/logs-tfile/ | grep parquet

可以看到

blk_1073755509 /spark-history/application_1703488625044_0273_1
blk_1073758750 /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop03_37847
blk_1073758751 /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop02_41829
blk_1073758752 /tmp/logs/root/logs-tfile/application_1703488625044_0353/hadoop03_37847

确实各自都丢失了1个Block， 文件已经损坏，不可恢复。

步骤2，删除缺失文件

因为我的环境为测试环境，可删除缺失文件，生产环境还需要斟酌判断。

hdfs fsck -delete  /spark-history/application_1703488625044_0273_1hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop03_37847hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0273/hadoop02_41829hdfs fsck -delete  /tmp/logs/root/logs-tfile/application_1703488625044_0353/hadoop03_37847
步骤3， 检查集群健康状况

相关文章：

There are 4 missing blocks. The following files may be corrupted

There are 4 missing blocks. The following files may be corrupted Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions. 步骤1，检查文件缺失情况 hadoop fsck /tmp/l…...

编程日记 2023/12/29 23:41:26

一起玩儿物联网人工智能小车（ESP32）——13. 用ESP32的GPIO控制智能小车运动起来（一）

摘要：本文更深入的讲述了GPIO的相关知识，并完成了导线连接工作，为下一步的软件开发做好了准备。 通用输入输出端口（GPIO：General Purpose Input/Output Port），在前面已经有了初步的介绍&#xf…...

编程日记 2023/12/29 23:39:24

D9741 PWM控制器电路，定时闩锁、短路保护电路，输出基准电压(2.5V) 采用SOP16封装

D9741是一块脉宽调制方三用于也收路像机和笔记本电的等设备上的直流转换器。在便携式的仪器设备上。 主要特点：● 高精度基准电路 ● 定时闩锁、短路保护电路 ● 低电压输入时误操作保护电路 ● 输出基准电…...

编程日记 2023/12/29 23:34:21

【UE5.1】程序化生成Nanite植被

目录 效果 步骤 一、下载Gaea软件和树林资产 二、使用Gaea生成贴图 三、 生成地形 四、生成草地 五、生成树林 六、生成湖泊 七、其它功能介绍 7.1 调整树林生成的面积 7.2 让植物随风飘动 7.3 玩家和植物互动 7.4 雪中树林 7.5 环境音效 效果 步骤 一、下载Ga…...

编程日记 2023/12/29 23:33:20

【软件工程】漫谈增量过程模型：软件开发的逐步之道

🍎个人博客：个人主页 🏆个人专栏： 软件工程 ⛳️ 功不唐捐，玉汝于成 目录 前言： 正文 增量过程模型（Incremental Process Model） 主要特点和阶段： 优点&#xff1…...

编程日记 2023/12/29 23:32:19

Android Camera

1. 相关的API Android有三套关于摄像头的API(库)，分别是Camera、Camera2和CameraX，其中Camera已废弃，在Android5.0以后推荐使用Camera2和CameraX，Camera2推出是用来替换Camera的，它拥有丰富的API可以为复杂的用例提供…...

编程日记 2023/12/29 23:31:18

Python开发雷点总结

数值运算（加减乘除） 1. invalid value赋值 当变量本身具有数值属性（后续会参加数值运算），对invalid value设置应该为np.nan， 而非None；反之，容易抛出以下错误： TypeEr…...

编程日记 2023/12/29 23:29:16

Linux中磁盘管理与文件系统

目录 一.磁盘基础： 1.磁盘的结构： 2.硬盘的数据结构： 3.硬盘存储容量 ： 4.硬盘接口类型： 二.MBR与磁盘分区： 1.MBR的概念： 2.硬盘的分区： 为什么分区： 2.表示&am…...

编程日记 2023/12/29 23:28:15

Vue2+element-ui 实现select选择器结合Tree树形控件实现下拉树效果

效果&#xff1a; DOM部分 &#xff1a; // 设置el-option隐藏的下拉选项&#xff0c;选项显示的是汉字label&#xff0c;值是value // 如果不设置一个下拉选项&#xff0c;下面的树形组件将无法正常使用 <el-form-item label"报警区域" prop"monitorId"…...

编程日记 2023/12/29 23:23:11

LINUX 解决系统卡死：扩大内存交换分区

最近电脑总是卡住&#xff0c;让我很是苦恼。运行程序时发现可能是内存占满之后导致界面卡住。下面是在我16G内存的电脑上折腾的过程与结果&#xff1a; 查看当前的交换内存大小free -m&#xff08;单位&#xff1a;-m选项表示以兆字节&#xff08;MB&#xff09;为单位显示内…...

编程日记 2023/12/29 23:22:10

Vue项目Nginx代理F5刷新出现404问题解决

一.背景 项目用户反馈&#xff0c;F5刷新后&#xff0c;浏览器出现404。最近公司加强网络管理&#xff0c;我记得之前可以刷新&#xff0c;有点怀疑是跟加强网络管理有关。具体原因没有时间去深度跟踪&#xff0c;先百度找到了解决方法&#xff0c;记录一下。 二.解决办法 主…...

编程日记 2023/12/29 23:21:09

关于MybatisPlus自动转化驼峰命名规则配置mapUnderscoreToCamelCase的个人测试和总结

关于MybatisPlus自动转化驼峰命名规则配置mapUnderscoreToCamelCase的个人测试和总结 测试一&#xff1a;没有添加 自动转化的配置&#xff0c;且domain中的属性名称和数据库的字段名称一致测试二&#xff1a;没有添加自动转化配置i&#xff0c;domain属性名userPassword和数据…...

编程日记 2023/12/29 23:17:06

css中的BFC

定义 BFC(Block formatting context)直译为"块级格式化上下文"。它是一个独立的渲染区域&#xff0c;只有Block-level box参与&#xff0c; 它规定了内部的Block-level Box如何布局&#xff0c;并且与这个区域外部毫不相干。 涉及概念 box Box 是 CSS 布局的对象…...

编程日记 2023/12/29 23:15:04

音视频类App广告变现如何破局，最大化广告变现收益，让应用增收？

音视频App已然成为了我们日常获取、发布和交换信息的重要方式&#xff0c;在音视频行业不断的拓展中&#xff0c;用户的渗透率提升。 据数据显示&#xff0c;我国网络视听用户的规模已达9亿人次&#xff0c;网民使用率也突破了90%。庞大的市场规模和用户需求吸引了大批开发者和…...

编程日记 2023/12/29 23:14:03

基于llama-index对embedding模型进行微调

QA对话目前是大语言模型的一大应用场景&#xff0c;在QA对话中&#xff0c;由于大语言模型信息的滞后性以及不包含业务知识的特点&#xff0c;我们经常需要外挂知识库来协助大模型解决一些问题。在外挂知识库的过程中&#xff0c;embedding模型的召回效果直接影响到大模型的回答…...

编程日记 2023/12/29 23:13:00

如何本地搭建FastDFS文件服务器并实现远程访问【内网穿透】

文章目录 前言1. 本地搭建FastDFS文件系统1.1 环境安装1.2 安装libfastcommon1.3 安装FastDFS1.4 配置Tracker1.5 配置Storage1.6 测试上传下载1.7 与Nginx整合1.8 安装Nginx1.9 配置Nginx 2. 局域网测试访问FastDFS3. 安装cpolar内网穿透4. 配置公网访问地址5. 固定公网地址5.…...

编程日记 2023/12/29 23:11:59

spring基于Xml管理bean---Ioc依赖注入:对象类型属性赋值（2）----内部bean的引入(bean和bean之间的引入)、（3）级联方式注入

bean创建对象类型赋值方式 第一&#xff1a;外部bean的引入 第二&#xff1a;内部bean的引入 第三&#xff1a;级联属性赋值 文章目录 bean创建对象类型赋值方式对象类型内部bean赋值代码分析总结 对象类型属性级联方式的赋值扩展知识 对象类型内部bean赋值 代码分析 <b…...

编程日记 2023/12/29 23:08:57

Python电能质量扰动信号分类(二)基于CNN模型的一维信号分类

目录 前言 1 电能质量数据集制作与加载 1.1 导入数据 1.2 制作数据集 2 CNN-2D分类模型和训练、评估 2.1 定义CNN-2d分类模型 2.2 定义模型参数 2.3 模型结构 2.4 模型训练 2.5 模型评估 3 CNN-1D分类模型和训练、评估 3.1 定义CNN-1d分类模型 3.2 定义模型参数 …...

编程日记 2023/12/29 23:03:53

如何解决报错：Another app is currently holding yum lock？

在运行yum 相关命令的时候&#xff0c;不知道怎么回事无法进行下载安装&#xff0c;报出 Another app is currently holding the yum lock; waiting for it to exit... 的错误提示。 Another app is currently holding the yum lock. 意思是另外一个应用正在锁住进程锁。 …...

编程日记 2023/12/29 23:02:52

electron使用electron-builder进行MacOS的 打包、签名、公证、上架、自动更新

一、前言 由于electron在macOS下的坑太多&#xff0c;本文不可能把所有的问题都列出来&#xff0c;也不可能把所有的解决方案贴出来&#xff1b;本文也不太会讲解每一个配置点为什么要这么设置的原因&#xff0c;因为有些点我也说不清&#xff0c;我尽可能会说明的。所以&…...

编程日记 2023/12/29 23:01:51

RAD Studio 12 安装激活说明及常见问题

目录 RAD Studio 安装说明 RAD Studio 最新的修补程序更新 RAD Studio 产品相关信息 Embarcadero 产品在线注册步骤 单机版授权产品注册注意事项 Embarcadero 产品离线注册步骤 Embarcadero 产品安装次数查询 Embarcadero 序号注册次数限制 EDN账号 - 查询授权序号、下…...

编程日记 2023/12/29 22:55:46

JavaScript实现视频共享

1.视频共享webrtc-master index.html <!DOCTYPE html> <html> <head><script typetext/javascript srchttps://cdn.scaledrone.com/scaledrone.min.js></script><meta charset"utf-8"><meta name"viewport" cont…...

编程日记 2023/12/29 22:49:41

uniapp框架——vue3+uniFilePicker+fastapi实现文件上传(搭建ai项目第二步)

文章目录 ⭐前言&#x1f496; 小程序系列文章 ⭐uni-file-picker 组件&#x1f496; 绑定事件&#x1f496; uploadFile api&#x1f496; 自定义上传 ⭐后端fastapi定义上传接口⭐uniapp开启本地请求代理devServer⭐前后端联调⭐总结⭐结束 ⭐前言 大家好&#xff0c;我是ym…...

编程日记 2023/12/29 22:44:36

一篇文章带你入门PHP魔术方法

PHP魔术方法 PHP 中的"魔术方法"是一组特殊的方法&#xff0c;它们在特定情况下自动被调用。这些方法的名称都是以两个下划线&#xff08;__&#xff09;开头。魔术方法提供了一种方式来执行各种高级编程技巧&#xff0c;使得对象的行为可以更加灵活和强大。以下是一…...

编程日记 2023/12/29 22:41:34

【数据库系统概论】第6章-关系数据库理论

真别看吧&#xff0c;抄ppt而已啊 文章目录 6.1 引言6.2 规范化6.2.1 函数依赖6.2.2 码6.2.3 范式&#xff08;Normal Form&#xff09;6.2.4 BC范式6.2.5 规范化小结 6.1 引言 我们有这样一张表&#xff1a; but 为啥这样设计呢&#xff1f;由此引出怎样设计一个关系数据库…...

编程日记 2023/12/29 22:37:30

算法设计与分析实验报告-贪心算法

校课程的简单实验报告。 算法设计与分析实验报告-递归与分治策略 算法设计与分析实验报告-动态规划算法 算法设计与分析实验报告-贪心算法 dijkstra迪杰斯特拉算法&#xff08;邻接表法&#xff09; 算法设计与分析实验报告-回溯法 算法设计与分析实验报告-分支限界法 …...

编程日记 2023/12/29 22:35:28

Unity读取服务器声音文件

Unity读取服务器声音文件 功能1.在网站的根目录放置一个声音文件Alarm01.wav&#xff08;这个是window系统自带的找不到这个格式的可以直接在C盘搜索&#xff09;2.在WebManager.cs脚本中添加clipPath、audio、m_downloadClip属性和DownloadSound&#xff08;&#xff09;函数&…...

编程日记 2023/12/29 22:28:19

掌握ElasticSearch（一）：Elasticsearch安装与配置、Kibana安装

文章目录 〇、简介1.Elasticsearch简介2.典型业务场景3.数据采集工具4.名词解释 一、安装1.使用docker(1)创建虚拟网络(2)Elasticsearch安装步骤 2.使用压缩包 二、配置1.目录介绍2.配置文件介绍3.elasticsearch.yml节点配置4.jvm.options堆配置 二、可视化工具Kibana1.介绍2.安…...

编程日记 2023/12/29 22:25:16

《剑指offer》Java版--13.机器人的运动范围（BFS）

剑指offer原题13:机器人的运动范围 地上有一个m行n列的方格。一个机器人从坐标(0,0)的格子开始移动&#xff0c;它每次可以向左、右、上、下移动一格&#xff0c;但不能进入行坐标和列坐标的数位之和大于k的格子。例如&#xff0c;当k为18时,机器人能够进入方格(35,37),因为353…...

编程日记 2023/12/29 22:22:14

基于流程挖掘的保险理赔优化策略实践

引言 在当今日益竞争的商业环境中，保险公司面临着日益增长的业务量和客户期望的挑战。特别是在理赔领域，理赔是保险行业的重要环节，也是保险公司和客户之间最直接的联系点。然而，长周期和繁琐的理赔流程常常给保险公司和投保人带来困扰。因此，如何提供准确且高效的理赔处…...

编程日记 2023/12/29 22:20:11

自己电脑做服务器上传网站 需要备案吗/seo如何进行优化

转自&#xff1a;http://www.cnblogs.com/wrmfw/archive/2012/01/21/2328534.html 你发现快要过年了&#xff0c;于是想给你的女朋友买一件毛衣&#xff0c;你打开了www.taobao.com。这时你的浏览器首先查询DNS服务器&#xff0c;将 www.taobao.com转换成ip地址。不过首先你会发…...

编程日记 2025/1/18 14:05:59

网站设计培训哪里好/山东服务好的seo公司

大家好&#xff0c;我在洛谷办了一场比赛&#xff0c;欢迎来参加。题目并不难&#xff0c;基本上都是红题&#xff0c;20分钟就写完了&#xff01; 欢迎来报名参加嗷&#xff01; [NOIP1999 普及组] 导弹拦截 题目描述 某国为了防御敌国的导弹袭击&#xff0c;发展出一种导弹…...

编程日记 2025/1/18 10:06:44

国外免费做网站软件/福州整站优化

1、安装git 参考&#xff1a;Git 详细安装教程&#xff08;详解 Git 安装过程的每一个步骤&#xff09;_mukes的博客-CSDN博客_git安装 2、下载并安装VS2019 点击官网链接下载community版本&#xff0c;在安装界面勾选C&#xff0c;默认安装路径是C盘&#xff0c;C盘空间不够…...

编程日记 2025/1/18 9:10:41

网站建设营销公司/淘宝代运营公司十大排名

网上分页存储过程的代码很多&#xff0c;这个是我一直在用的经典的三层架构里提取出来的&#xff0c;并做了部分语句的优化... 如有更好的欢迎讨论&#xff01; set ANSI_NULLS ON set QUOTED_IDENTIFIER ON GO ------------------------------------ --用途&#xff1a;分页存…...

编程日记 2025/1/18 8:34:50

z-blog wordpress/合肥最新消息今天

357 Lambda表达式练习1&#xff08;抽象方法无参无返回值&#xff09; 【练习1】 定义一个piano接口&#xff0c;里面定义一个抽象方法&#xff1a;void listen()定义一个PianoDemo测试类&#xff0c;里面提供个方法 main&#xff0c;调用listenPianolistenPiano【练习2】 定…...

编程日记 2025/1/18 5:15:27

0453牡丹江信息网二手车/成都网站关键词推广优化

说在前面 已经到了月中旬了&#xff0c;程序员们即将迎来面试季&#xff0c;今天刚好有一位粉丝找到我&#xff0c;他上周刚面完奇虎360&#xff0c;经过了几轮的面试&#xff0c;最后薪资也谈了&#xff0c;今天主要是问我想这样的大型互联网公司一般多久会正式下offer。 一…...

编程日记 2025/1/18 4:46:10