ClouderaManager 集群搭建

前提：服务器之前做过域名映射、免密登录

ClouderaManager 集群

1. 组件分布规划

服务器	服务器
h1	zk、hdfs(dn)、yarn(nm)、spark、kafka、flume
h2	hdfs(nn-standy)、yarn(rm-active)、spark
h3	hdfs(nn-active)、yarn(rm-standy)、hive、spark
h4	zk、hdfs(dn)、yarn(nm)、spark、kafka、flume
h5	zk、hdfs(dn)、yarn(nm)、spark、kafka、flume

2. 目录挂载（h1~h5）

mkdir /app
mkdir -p /mnt/sdb/app
mount --bind /mnt/sdb/app /app#将上述mount命令添加到/etc/rc.local以便开机⾃动执⾏
mount --bind /mnt/sdb/app /app
添加后增加可执权限
chmod +x /etc/rc.d/rc.local

3. 清除环境变量

清除以前安装 hadoop 配置过的环境变量，以免影响新的安装

vim /etc/profile.d/my_env.sh
#清除掉除了java环境其它的环境source /etc/profile.d/my_env.sh
#重新连接服务器，测试是否清除成功

4. 安装

版本：CDH6.3.2

4.1 MySQL 中建库（在服务器 h3）

#CM默认使用本地数据库，配置本地容器安装的mysql
docker exec -it mysql mysqlcreate user 'scm'@'%' IDENTIFIED WITH mysql_native_password by 'scm';
grant ALL PRIVILEGES ON scm.* to 'scm'@'%';CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;flush privileges;

将 mysql-connector-java-5.1.27-bin.jar 拷贝到 /usr/share/java 路径下，并重命名

cd /app/software/
tar -zxvf mysql-connector-java-5.1.27.tar.gz
cd mysql-connector-java-5.1.27
mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar
mkdir /usr/share/java
cp mysql-connector-java.jar /usr/share/java/
xsync /usr/share/java/

4.2 解压部署

#创建cloudera-manager目录,存放cdh安装文件
mkdir /app/cloudera-manager
cd /app/software/
tar -zxvf cm6.3.1-redhat7.tar.gz
cd cm6.3.1/RPMS/x86_64/
mv cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm /app/cloudera-manager/
mv cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm /app/cloudera-manager/
mv cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm /app/cloudera-manager/
cd /app/cloudera-manager/ll

4.3 安装 cloudera-manager-daemons

rpm -qa | grep cloudera-manager-daemons
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
# 在目录 /opt 会多出一个cloudera目录cd /
xsync /app/cloudera-manager/#分别在h1、h2、h4、h5安装
cd /app/cloudera-manager/
rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

4.4 安装 cloudera-manager-agent（h1~h5）

yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxsltcd /app/cloudera-manager/
rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

坑 1：缺少依赖/lib/lsb/init-functions

解决：yum install lsb

坑 2：在 centOS6 中 python 版本为 2.6，需要升级到 2.7 及以上版本

解决：https://blog.csdn.net/carefree2005/article/details/125096715

4.5 安装 agent 的 server 节点（h1~h5）

vim /etc/cloudera-scm-agent/config.ini
server_host=h3

4.6 安装 cloudera-manager-server（h3）

cd /app/cloudera-manager/
rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm 

4.7 上传 CDH 包到 parcel-repo（h3）

cd /app/software
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel* /opt/cloudera/parcel-repo
mv manifest.json /opt/cloudera/parcel-repocd /opt/cloudera/parcel-repo
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

4.8 修改 server 的 db.properties（h3）

#CM默认使用本地数据库，配置本地容器安装的mysql
vim /etc/cloudera-scm-server/db.properties##内容##
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=h3:3306
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=scm
com.cloudera.cmf.db.setupType=EXTERNAL
##内容结束##

4.9 启动 server 服务

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
#输入密码：scmsystemctl start cloudera-scm-server#查看启动日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

4.10 启动 agent 节点（h1~h5）

systemctl start cloudera-scm-agent

4.12 浏览器访问

h3:7180
#账号/密码：admin/admin

5. 配置

5.1 基础配置

检查网络性能，检查主机

解决办法：

# 在h4和h5上运行
echo 10 > /proc/sys/vm/swappiness
#永久更改，防止重启失败
vim /etc/sysctl.conf
#最后一行加入
vm.swappiness=10# 在h1~h5上都运行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

5.2 安装 zk，hdfs、yarn

5.3 配置 NameNode HA

5.4 配置 Yarn HA

5.5 安装 kafka

测试：

#在h5
kafka-topics --zookeeper h1:2181,h4:2181,h5:2181 --list
kafka-topics --bootstrap-server h1:9092,h4:9092,h5:9092 --list#创建
kafka-topics --zookeeper h1:2181,h4:2181,h5:2181  --create --replication-factor 1 --partitions 3 --topic test1026
#或
kafka-topics --bootstrap-server h1:9092,h4:9092,h5:9092  --create --replication-factor 1 --partitions 3 --topic test1026#查看topic描述
kafka-topics --describe --topic test1026 --zookeeper h1:2181,h4:2181,h5:2181#删除topic
kafka-topics --zookeeper h1:2181,h4:2181,h5:2181  --delete --partition 0 --topic test1026

5.6 安装 Hive

5.7 安装 flume

5.8 安装 spark