网站首页html代码/网络舆情监控系统

目录

1、安装 jdk8

（1）选择 jdk 版本

（2）下载 jdk 并解压

（3）配置环境变量

2、安装hadoop

（1）添加 hadoop 用户，配置免密登录

 （2）下载 hadoop-3.4.0.tar.gz

（3）配置环境变量

（4）修改配置文件

（5）修改文件权限，并且换到 hadoop 用户

（7）验证Hadoop DFS

（8）启动 dfs

（9）验证yarn脚本

（10）浏览器访问

3、安装 hbase

（1）下载 hbase-2.5.8-hadoop3-bin.tar.gz

（2）配置环境变量

（3）修改配置文件

（4）添加 zookeeper 目录

（5）修改文件权限，并且换到 hadoop 用户

（6）启动 hbase

（7）浏览器访问

（8）命令行验证 hbase shell

（9）关闭 hbase

4、错误处理

（1）hbase shell 报错：ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet。

5、参考

---

1、安装 jdk8

（1）选择 jdk 版本

jdk版本选择：https://hbase.apache.org/book.html#java

jdk华为源下载：https://repo.huaweicloud.com/java/jdk/8u172-b11/

（2）下载 jdk 并解压

cd /usr/local
wget https://repo.huaweicloud.com/java/jdk/8u172-b11/jdk-8u172-linux-x64.tar.gz
tar zxf jdk-8u172-linux-x64.tar.gz

（3）配置环境变量

# vim /etc/profileexport JAVA_HOME=/usr/local/jdk1.8.0_172
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib# source /etc/profile

 #参考

https://blog.csdn.net/codedz/article/details/124044974

https://www.cnblogs.com/aerfazhe/p/15545946.html

https://www.cnblogs.com/aerfazhe/p/15545946.html

2、安装hadoop

（1）添加 hadoop 用户，配置免密登录

useradd hadoop
#passwd hadoopssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

 （2）下载 hadoop-3.4.0.tar.gz

cd /usr/local
wget https://dlcdn.apache.org/hadoop/core/stable/hadoop-3.4.0.tar.gz
tar zxf hadoop-3.4.0.tar.gz

（3）配置环境变量

# vim /etc/profileexport HADOOP_HOME=/usr/local/hadoop-3.4.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME# source /etc/profile

（4）修改配置文件

cd /usr/local/hadoop-3.4.0/etc/hadoop/vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_71vim core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property>
</configuration>vim hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.name.dir</name><value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value></property><property><name>dfs.data.dir</name><value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value></property>
</configuration>vim yarn-site.xml
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

（5）修改文件权限，并且换到 hadoop 用户

chown -R hadoop:hadoop hadoop-3.4.0  
su hadoop

（7）验证Hadoop DFS

hdfs namenode -format

（8）启动 dfs

./sbin/start-dfs.sh# 查看进程
jps

71168 SecondaryNameNode
71681 NameNode
71834 DataNode
72289 ResourceManager
72396 NodeManager

（9）验证yarn脚本

./sbin/start-yarn.sh

（10）浏览器访问

http://localhost:9870
http://localhost:8088

3、安装 hbase

（1）下载 hbase-2.5.8-hadoop3-bin.tar.gz

cd /usr/local
wget https://dlcdn.apache.org/hbase/2.5.8/hbase-2.5.8-hadoop3-bin.tar.gz
tar zxf hbase-2.5.8-hadoop3-bin.tar.gz

（2）配置环境变量

export HBASE_HOME=/usr/local/hbase-2.5.8-hadoop3
export PATH=$PATH:$HBASE_HOME/bin

（3）修改配置文件

cd /usr/local/hbase-2.5.8-hadoop3/confvim hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_172vim hbase-site.xml
<property><name>hbase.cluster.distributed</name><value>true</value>
</property>
<property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value>
</property>
<property><name>hbase.zookeeper.property.dataDir</name><value>/home/zookeeper</value>
</property>

（4）添加 zookeeper 目录

mkdir -p /home/zookeeper
chown -R hadoop:hadoop /home/zookeeper

（5）修改文件权限，并且换到 hadoop 用户

chown -R hadoop:hadoop hbase-2.5.8-hadoop3
su hadoop

（6）启动 hbase

./bin/start-hbase.sh# 查看进程
jps

71168 SecondaryNameNode
71681 NameNode
71834 DataNode
72289 ResourceManager
72396 NodeManager
74089 HQuorumPeer
74186 HMaster
74271 HRegionServer

（7）浏览器访问

http://localhost:16010

（8）命令行验证 hbase shell

./bin/hbase shell
> list

（9）关闭 hbase

./bin/stop-hbase.sh
# kill -9 ${HRegionServer-PID} ${HMaster-PID} ${HQuorumPeer-PID}

4、错误处理

（1）hbase shell 报错：ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet。

         关闭 hbase，修改配置文件，然后重启

vim conf/hbase-env.sh
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true

5、参考

https://hadoopdoc.com/hbase/hbase-install
https://cn.linux-console.net/?p=21626
https://blog.csdn.net/qq_45811072/article/details/121693142