当前位置： 首页 > news >正文

解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

news 文章来源：https://blog.csdn.net/lvoelife/article/details/133349627 2024/11/7 18:45:35

文章目录

  • 1. 复现错误
  • 2. 分析错误
  • 3. 解决问题
    • 3.1 下载Hadoop
    • 3.2 配置Hadoop
    • 3.3 下载winutils
    • 3.4 配置winutils

1. 复现错误


今天在运行同事给我的项目，但在项目启动时，报出如下错误：

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblemsat org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:548)at org.apache.hadoop.util.Shell.getHadoopHomeDir(Shell.java:569)at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:592)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:689)at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)at org.apache.hadoop.conf.Configuration.getBoolean(Configuration.java:1665)at org.apache.hadoop.security.SecurityUtil.setConfigurationInternal(SecurityUtil.java:104)at org.apache.hadoop.security.SecurityUtil.<clinit>(SecurityUtil.java:88)at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:365)at com.test.main(GetHudiSchemaByMetaStore.java:25)
Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:468)at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:439)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:516)... 7 more

即java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.

2. 分析错误


通过java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.错误可知，这是未设置HADOOP_HOME 和hadoop.home.dir 。

HADOOP_HOME和hadoop.home.dir主要是干嘛的呢？是配置在本地环境变量中的Hadoop地址。

那么需要下载Windows版本的Hadoop来设置么？如果是远程连接Linux上的Hadoop集群，则完全不需要再下载安装Windows版本的Hadoop！！！

本地远程连接Hadoop系统时需要在本地配置相关的Hadoop变量，主要包括hadoop.dll与winutils.exe等。

【注意】由于hadoop主要基于linux编写，winutil.exe主要用于模拟linux下的目录环境。

当Hadoop在windows下运行或调用远程Hadoop集群的时候，需要该辅助程序才能运行。winutils是Windows中的二进制文件，适用于不同版本的Hadoop系统并构建在Windows VM上，该VM用以在Windows系统中测试Hadoop相关的应用程序。

3. 解决问题


了解到原因之后，可以根据安装Hadoop集群的版本，下载相应的winutils。

3.1 下载Hadoop


如果你还没有安装Hadoop，可以按如下方式下载：

  1. 去hadoop官网下载，镜像下载链接：https://mirrors.tuna.tsinghua.edu.cn

  2. 也可以下载我百度网盘中的3.2.1版本的：

    • 链接：https://pan.baidu.com/s/1dcywut63xDFSdHIIogZUWw

    • 提取码：y6i4

下载完成后，会得到hadoop-3.2.1.tar.gz，因为我下载的是hadoop-3.2.1版本。

解压hadoop-3.2.1.tar.gz得到hadoop-3.2.1，复制hadoop-3.2.1到你想要的文件夹中。

我是把hadoop-3.2.1放在D:\Software文件夹下。

接下来，我便介绍如何配置Hadoop。

3.2 配置Hadoop

  1. 右键此电脑，点击属性：

在这里插入图片描述

  1. 点击高级系统配置

在这里插入图片描述

  1. 点击环境变量

在这里插入图片描述

  1. 在环境变量中的系统变量，点击新建：

在这里插入图片描述

  1. 新建系统变量，填写变量名和变量值，点击确定

  • 变量名：HADOOP_HOME

  • 变量值：D:\Software\hadoop-3.2.1

在这里插入图片描述

  1. 双击系统变量的path，追加%HADOOP_HOME%\bin

在这里插入图片描述

在这里插入图片描述

之后点击三次确定退出编辑。

  1. 查看配置文件

在hadoop-3.2.1/etc/hadoop目录下，找到hadoop-env.cmd，看jdk目录！

如果你之前配置了java_home，不用修改配置：

在这里插入图片描述

如果你没有配置java_home，需要把jdk的绝对路径写上，比如：C:\Program Files\Java\jdk1.8.0_102。

在这里插入图片描述

3.3 下载winutils

下载winutils，下载离你hadoop最近的版本使用（比如我的hadoop3.2.1，我下载的winutils是3.1.2），不然会出现一些列的问题。

我提供如下两种下载地址：

  1. GitHub下载地址：https://github.com/steveloughran/winutils

在这里插入图片描述

由上图可知，截至完稿的时间，github上的更新到3.0.0，但此版本后面出现一些问题，大家尽量安装和你的hadoop对应的版本。

  1. gitee下载链接：https://gitee.com/shockingblue/winutils

在这里插入图片描述

由上图可知，截至完稿的时间，gitee上的更新到3.2.1，相对github上的版本较多。

或者，从我的网盘中下载winutils：

  1. 链接：https://pan.baidu.com/s/1EG67gZ4MLbHONTdUci4cXg

  2. 提取码：orab

3.4 配置winutils

\

  1. 找到3.1.2版本winutils的bin文件夹

在这里插入图片描述

  1. 用该目录覆盖掉hadoop的bin目录。

在这里插入图片描述

  1. 复制成功之后，会看到下面那个winutils.exe文件：

在这里插入图片描述

  1. 替换后将bin下面的hadoop.dll拷贝到C:\Windows\System32目录下

在这里插入图片描述

  1. 大功告成，记得重启idea

配置完成后，一定要重启idea！否则，配置不生效

相关文章：

解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

文章目录 1. 复现错误2. 分析错误3. 解决问题3.1 下载Hadoop3.2 配置Hadoop3.3 下载winutils3.4 配置winutils 1. 复现错误 今天在运行同事给我的项目&#xff0c;但在项目启动时&#xff0c;报出如下错误&#xff1a; java.io.FileNotFoundException: java.io.FileNotFoundEx…...

编程日记 2023/9/28 8:07:39

软件设计中常见的设计模式

以下是常见的设计模式&#xff0c;并且给出了应用场景&#xff1a; 工厂模式&#xff08;Factory Pattern&#xff09;&#xff1a;用于创建对象&#xff0c;隐藏了具体对象的创建细节&#xff0c;客户端只需要通过工厂接口获取对象即可。应用场景包括&#xff1a;当需要根据不…...

编程日记 2023/9/28 8:05:37

为什么我的remix没有injected web3

原因 Remix近期做了升级&#xff0c;去除了Web3的选项&#xff0c;您在进行部署的时候&#xff0c;可以选择injected provider metamask&#xff0c;同样能连接到Web3钱包哦。具体如下图所示&#xff1a;...

编程日记 2023/9/28 8:04:37

第1章 数据结构绪论

1.1 开场白 1.2 你数据结构怎么学的 1.3 数据结构起源 早期人们都把计算机理解为数值计算工具&#xff0c;就是感觉计算机当然是用来计算的&#xff0c;所以计算机解决问题&#xff0c;应该是先从具体问题中抽象出一个适当的数据模型&#xff0c;设计出一个解此数据模型的算…...

编程日记 2023/9/28 8:03:36

现代 GPU 容易受到新 GPU.zip 侧通道攻击

来自四所美国大学的研究人员开发了一种新的 GPU 侧通道攻击&#xff0c;该攻击利用数据压缩在访问网页时泄露现代显卡中的敏感视觉数据。 研究人员通过 Chrome 浏览器执行跨源 SVG 过滤器像素窃取攻击&#xff0c;证明了这种“ GPU.zip ”攻击的有效性。 研究人员于 2023 年 …...

编程日记 2023/9/28 8:02:35

8+单基因+细胞凋亡+WGCNA+单细胞+实验验证

今天给同学们分享一篇单基因细胞凋亡WGCNA实验验证的生信文章“RASGRP2 is a potential immune-related biomarker and regulates mitochondrial-dependent apoptosis in lung adenocarcinoma”&#xff0c;这篇文章于2023年2月3日发表在Front Immunol期刊上&#xff0c;影响因…...

编程日记 2023/9/28 8:01:33

BM4 合并两个排序的链表

思路&#xff1a;先选择最小的作为Head&#xff0c;每次从两个队列中取最小的挂到Head后面&#xff0c;如果一个合并空&#xff0c;后面直接挂。此外判断几个为空链表的情况 /*** struct ListNode {* int val;* struct ListNode *next;* ListNode(int x) : val(x), next(nullp…...

编程日记 2023/9/28 7:58:31

【lesson12】理解进程地址空间

文章目录 什么是进程地址空间&#xff1f;进程地址空间的作用扩展内容初步理解深入理解 什么是进程地址空间&#xff1f; 故事&#xff1a; 背景&#xff1a;有一个大富豪&#xff0c;家里的存款有10亿美元&#xff0c;他有三个私生子三个人之间彼此互不相识&#xff0c;只有富…...

编程日记 2023/9/28 7:56:29

计算机里的神灵（SCIP）

计算机程序的构造和解释 我找到计算机里的神灵了&#xff0c;开心一刻 下面是从MIT官网下载的 SCIP求值器&#xff08;解释器&#xff09;的代码&#xff0c;这个官网是个宝藏库 还有其他视频课程和 SCIP的问题答案和可运行代码 链接&#xff1a;https://ocw.mit.edu/courses/6…...

编程日记 2023/9/28 7:55:28

基于微信小程序的公交信息在线查询系统小程序设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言系统主要功能&#xff1a;具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09;有保障的售后福利 代码参考源码获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计…...

编程日记 2023/9/28 7:54:27

【STM32】IAP升级01 bootloader实现以及APP配置（主要）

APP程序以及中断向量表的偏移设置 前言 通过之前的了解 之前的了解&#xff0c;我们知道实现IAP升级需要两个条件&#xff1a; 1.APP程序必须在 IAP 程序之后的某个偏移量为 x 的地址开始&#xff1b; 2.APP程序的中断向量表相应的移动&#xff0c;移动的偏移量为 x&#xff…...

编程日记 2023/9/28 7:49:23

ruoyi（若依）接口拦截路径配置，接口访问要授权，放开授权直接访问

1.找到文件SecurityConfig.java文件&#xff0c;里面配置相应的放行路径...

编程日记 2023/9/28 7:44:19

Ctfshow web入门 XSS篇 web316-web333 详细题解 全

CTFshow XSS web316 是反射型 XSS 法一&#xff1a; 利用现成平台 法二&#xff1a; 自己搭服务器 先在服务器上面放一个接受Cookie的文件。 文件内容&#xff1a; <?php$cookie $_GET[cookie];$time date(Y-m-d h:i:s, time());$log fopen("cookie.txt"…...

编程日记 2023/9/28 7:43:18

watch()监听vue2项目角色权限变化更新挂载

<template><div><el-form:model"updateRole"ref"roleForm"label-width"100px"label-position"right"style"width: 400px":rules"roleRules"><el-form-item label"角色名称" prop&…...

编程日记 2023/9/28 7:42:17

轻量化设计、佩戴更舒适——轻律 Umelody U1头戴式蓝牙耳机

头戴式耳机不像以前那么笨重&#xff0c;身边很多人都在用&#xff0c;而且拍照还巨出片&#xff0c;拍照累了还能听歌放松&#xff0c;何乐而不为&#xff0c;国庆节即将来临&#xff0c;秋冬季节也就快要到了&#xff0c;棕色在合适不过了&#xff0c;最近有一款高颜值的复古…...

编程日记 2023/9/28 7:39:15

嵌入式Linux应用开发-基础知识-第三章 LED原理图-GPIO及操作

嵌入式Linux应用开发-基础知识-第三章 LED原理图-GPIO及操作 第三章 硬件知识_LED 原理图3.1 先来讲讲怎么看原理图 第四章 普适的 GPIO 引脚操作方法4.1 GPIO 模块一般结构4.2 GPIO 寄存器操作4.3 GPIO 的其他功能&#xff1a;防抖动、中断、唤醒 第五章 具体单板的 GPIO 操作…...

编程日记 2023/9/28 7:37:13

外贸人员如何选择适合的邮箱服务

随着互联网和数字技术的快速发展&#xff0c;电子邮件已经成为商务沟通的主要方式之一。对于外贸人员来说&#xff0c;选择一个合适且高效的邮箱服务至关重要。本文将探讨外贸人员在选择外贸邮箱时应考虑的因素&#xff0c;以便找到最适合自己的解决方案。 “外贸人员如何选择合…...

编程日记 2023/9/28 7:36:12

pt29django教程

文件上传 文件上传必须为POST提交方式&#xff0c; 表单<form>中文件上传时必须有带有enctype"multipart/form-data" 时才会包含文件内容数据。 表单中用<input type"file" name"xxx">标签上传文件 名字xxx对应request.FILES[xx…...

编程日记 2023/9/28 7:35:11

【操作系统笔记七】进程和线程

进程的组成 进程要读取 ELF 文件&#xff0c;那么&#xff1a; ① 要知道文件系统的信息&#xff0c;fs_struct② 要知道打开的文件的信息&#xff0c;files_struct 一个进程除了需要读取 ELF 文件外&#xff0c;还可以读取其他的文件中的数据。 进程中肯定有一个 mm_struct…...

编程日记 2023/9/28 7:34:10

Kakfa高效读写数据

1.概述 无论 kafka 作为 MQ 也好&#xff0c;作为存储层也罢&#xff0c;无非就是两个功能&#xff1a;一是 Producer 生产的数据存到 broker&#xff0c;二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了&#xff0c;本文也是从这两个方面去剖析Kafk…...

编程日记 2023/9/28 7:33:09

C++ 类和对象（4）构造函数

C的目标之一是让使用类对象就像使用标准类型一样&#xff0c;但是常规的初始化语法不适用于类似类型Stock&#xff1a; int year 2001&#xff1b; struct thing {char * pn;int m; }; thing amabob {"wodget",-23}; //有效初始化 Stock hot {"Sukies Autos…...

编程日记 2023/9/28 7:31:08

数据结构————广度寻路算法 Breadth First Search（广度优先算法）

（一）基础补充 二叉树的基本定义 1）二叉树就是度不超过2的树，其每个结点最多有两个子结点 2）二叉树的结点分为左结点和右结点 代码实现二叉树 #include <stdio.h> #include <stdlib.h> struct Node {int data;struct Node* pLeft;struct Node* pRight; }…...

编程日记 2023/9/28 7:30:07

安卓桌面记事本便签软件哪个好用?

日常生活及工作中&#xff0c;很多人常常会遇到一些一闪而现的灵感&#xff0c;这时候拿出手机想要记录时&#xff0c;却找不到记录的软件。在这个快节奏的时代&#xff0c;安卓手机是我们日常生活不可或缺的伙伴。然而&#xff0c;正因为我们的生活如此忙碌&#xff0c;记事变…...

编程日记 2023/9/28 7:28:05

河北吉力宝以步力宝健康鞋引发的全新生活生态商

在当今瞬息万变的商业世界中&#xff0c;成功企业通常都是那些不拘泥于传统、勇于创新的先锋之选。河北吉力宝正是这样一家企业&#xff0c;通过打造一双步力宝健康鞋&#xff0c;他们以功能性智能科技穿戴品为核心&#xff0c;成功创造了一种结合智能康养与时尚潮流的独特产品…...

编程日记 2023/9/28 7:26:03

反射获取Constructor、Field、Method对象

1、获取构造器 Constructor [ ] getConstructor s ( ) 获取全部的构造器&#xff1a;只能获取 public 修饰的构造器 package com.csdn.pojo; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; import org.junit.Test; import jav…...

编程日记 2023/9/28 7:25:02

【Netty】 ByteBuf的常用API总结

目录 一、ByteBuf介绍 二、ByteBuf创建 1.池化创建 ByteBufAllocator 2.Unpooled &#xff08;非池化&#xff09;创建ByteBuf 3.ByteBufUtil 操作ByteBuf 三、读取ByteBuf数据 1.get方法 2.read方法 3.set方法 4.write方法 5.索引管理 6.索引查找 7.索引查找 8.其…...

编程日记 2023/9/28 7:24:01

热门敏捷开发管理工具

敏捷管理研发工具可以协助团队更好地进行敏捷开发和管理。以下是几种流行的敏捷管理研发工具&#xff1a; Leangoo&#xff1a;Leangoo领歌一款永久免费的专业敏捷研发管理工具&#xff0c;它覆盖了敏捷项目研发全流程&#xff0c;包括小型团队敏捷开发&#xff0c;规模化敏捷…...

编程日记 2023/9/28 7:20:58

Java分支结构：一次不经意的选择，改变了我的一生。

&#x1f451;专栏内容&#xff1a;Java⛪个人主页&#xff1a;子夜的星的主页&#x1f495;座右铭&#xff1a;前路未远&#xff0c;步履不停 目录 一、顺序结构二、分支结构1、if语句2、switch语句 好久不见&#xff01;命运之轮常常在不经意间转动&#xff0c;有时一个看似微…...

编程日记 2023/9/28 7:19:57

Unity中Shader需要了解的点与向量

文章目录 前言一、点和向量的区别二、向量加法减法1、向量加法2、向量减法(可以把向量减法转化为向量加法) 三、向量的模四、标量![在这里插入图片描述](https://img-blog.csdnimg.cn/03df81df3cdf47989a11605d5f5e7da5.png)1、向量与标量的乘法 前言 Unity中Shader了解使用的…...

编程日记 2023/9/28 7:18:56

Java初始化大量数据到Neo4j中(一)

背景&#xff1a;我们项目第一次部署图数据库&#xff0c;要求我们把现有的业务数据以及关系上线第一时间初始化到Neo4j中。开发环境数据量已经百万级别。生成环境数据量更多。 我刚开始开发的时候&#xff0c;由于对Neo4j的了解并没有很多&#xff0c;第一想到的是用代码通用组…...

编程日记 2023/9/28 7:17:55

河南省住房城乡和建设厅网站首页/今日头条关键词工具

求转置矩阵问题 时间限制&#xff1a;3000 ms | 内存限制&#xff1a;65535 KB难度&#xff1a;2描述求一个三行三列的转置矩阵。输入第一行一个整数n<20&#xff0c;表示有n组测试数据&#xff0c;下面是n组数据;每组测试数据是九个整型数&#xff08;每个数都不大于1000…...

编程日记 2024/11/7 18:04:29

做网站蓝色和什么颜色搭配好看/如何建站

文章目录前言一、导入相关库二、加载Cora数据集三、定义GraphSAGE网络3.1 定义GraphSAGE层3.1.1 定义权重 W3.1.2 特征映射3.1.3 节点特征更新3.1.4 SAGEConv层3.2 定义GraphSAGE网络四、定义模型五、模型训练六、模型验证七、结果完整代码前言 大家好&#xff0c;我是阿光。 …...

编程日记 2024/11/7 17:36:06

优化合作平台/电脑优化软件哪个好用

简介 LVM&#xff08;Logical Volume Manager&#xff09;逻辑卷管理&#xff0c;是在硬盘分区和文件系统之间添加的一个逻辑层&#xff0c;为文件系统屏蔽下层硬盘分区布局&#xff0c;并提供一个抽象的盘卷&#xff0c;在盘卷上建立文件系统。管理员利用LVM可以在硬盘不用重…...

编程日记 2024/11/7 17:27:14

app web网站 区别/上首页的seo关键词优化

什么是移动WEB开发&#xff0c;我个人理解就是&#xff0c;将网页更好的显示在移动端的一些设置&#xff0c;简单来说就两点如下&#xff1a; 1、流式布局&#xff0c;即百分比自适应布局 将body下的div容器的样式设置如下&#xff1a; div{ width:100%; } 2、viewport视口 在h…...

编程日记 2024/11/7 16:29:45

网站建设委托合同/体验营销是什么

前言 目前&#xff0c;软件测试已在IT行业获得更多的认可和接受&#xff0c;越来越多的人进入到这个行业。但今天的软件测试已今非昔比&#xff0c;主要体现在这个行业对从业人员的要求越来越高&#xff0c;特别是性能测试领域&#xff0c;性能测试方案制定、测试脚本开发与增…...

编程日记 2024/11/7 13:59:01

公司网站的开发和网版的重要性/seo推广怎么学

不传之术&#xff1a;80%胜率的波浪理论技法&#xff0c;交易期权的视频↓↓期权公式 诺贝尔经济学奖资料来源&#xff1a;雪球1。合约方向如上一篇文章所述&#xff0c;期权合约有两种类型&#xff1a;看涨期权和看跌期权。也称为看涨期权和看跌期权。期权公式 诺贝尔经济学奖…...

编程日记 2024/11/7 13:22:30