MAC下搭建hadoop

一：简介

Hadoop是一个用Java开发的开源框架，它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。特别适合写一次，读多次的场景。

Hadoop一般用于对大量数据执行完整统计分析的应用程序。

二：安装步骤

1. 修改主机名

sudo scutil --set HostName localhost

2. ssh免密登录
具体配置方法：

（1）ssh-keygen -t rsa      （一路回车直到完成）
（2）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
（3）chmod og-wx ~/.ssh/authorized_keys

然后重启终端，在命令行下输入

ssh localhost

如果不需要输密码即可进入，证明设置成功。如果仍需要输入密码，那可能是文件权限的问题，尝试执行

chmod 755 ~/.ssh

出现 

ssh: connect to host localhost port 22: Connection refused

则到系统偏好设置，共享下，打开远程登录功能

hadoop官网下载地址 ：Apache Hadoop

点击下载版本，下载二进制文件非源文件例如：https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz

并解压至安装目录 /usr/local/Cellar   

tar zxvf hadoop-2.10.0.tar.gz  

修改配置文件命令及内容如下

vim etc/hadoop/core-site.xml 

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. --><configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/Cellar/hadoop-3.1.3/libexec/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value></property>
</configuration>

vim etc/hadoop/hdfs-site.xml 

添加hadoop环境变量

localhost:libexec jia$ vim ~/.bash_profileJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH
export MAVEN_HOME=/Users/jia/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin
export PATH=$PATH:/Users/jia/apache-tomcat-8.5.51/bin
export PATH=$PATH:/usr/local/mysql/bin
export PATH=$PATH:/usr/local/mysql/support-files
export BASH_SILENCE_DEPRECATION_WARNING=1export HADOOP_HOME=/usr/local/Cellar/hadoop-3.1.3/libexec
export HADOOP_ROOT_LOGGER=DEBUG,console
export PATH=$PATH:${HADOOP_HOME}/bin

例行刷新环境变量

source ~/.bash_profile

在mac环境中，通过brew install hadoop安装时在/usr/local/Cellar/hadoop/3.1.1/libexec目录下是没有/lib/native目录的

需要解决，可百度一下，建议通过官网下载方式安装

查询本机java环境变量

/usr/libexec/java_home
结果如下
/Library/Java/JavaVirtualMachines/jdk-12.0.2.jdk/Contents/Home

jdk版本过高会导致失败，建议使用1.8