Ambari2.7.5集群搭建详细流程
0 说明
本文基于本地虚拟机从零开始搭建ambari集群
1 前置条件
1.1 本地虚拟机环境
节点 | 角色 |
---|---|
ambari-1 | ambari-server ambari-agent |
ambari-2 | ambari-agent |
ambari-3 | ambari-agent |
1.2 安装包
1.3 修改主机名并配置hosts文件
hostnamectl set-hostname ambari-1
hostnamectl set-hostname ambari-2
hostnamectl set-hostname ambari-3
配置hosts,添加如下内容
192.168.2.51 ambari-1
192.168.2.52 ambari-2
192.168.2.53 ambari-3
1.4 配置节点间免密
所有节点执行
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-1
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-2
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-3
1.5 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
1.6 关闭selinux(所有节点)
vim /etc/sysconfig/selinux
修改
SELINUX=disabled
查看修改是否成功
sestatus -v
1.7 设置安全限制(所有节点)
vim /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
1.8 修改系统最大文件打开数(所有节点)
vim /etc/systemd/system.conf
1.9 安装pssh(非必须)
pssh基于Python编写的并发在多台服务器上批量执行命令的工具,它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等,这里介绍安装及常用命令。
wget http://peak.telecommunity.com/dist/ez_setup.py
wget https://pypi.python.org/packages/60/9a/8035af3a7d3d1617ae2c7c174efa4f154e5bf9c24b36b623413b38be8e4a/pssh-2.3.1.tar.gz
- 解压
tar -zxvf pssh-2.3.1.tar.gz
build & install
python setup.py buildpython setup.py install
- 创建nodes文件
添加需要批处理的服务器节点
ambari-1:22
ambari-2:22
ambari-3:22
- 使用示例
pssh -h /root/node.txt -i -P 'date'
1.10 配置ntpd同步(所有节点)
1.11 设置swap(所有节点)
pssh -h /root/nodes.txt -i 'echo vm.swappiness = 1 >> /etc/sysctl.conf'
pssh -h /root/nodes.txt -i 'sysctl vm.swappiness=1'
pssh -h /root/nodes.txt -i 'sysctl -p'
1.12 安装http服务(主节点)
yum -y install httpd
设置开机自启
systemctl start httpd
systemctl enable httpd.service
浏览器访问测试,出现如下页面说明安装成功
安装完成后,会生成 /var/www/html目录(相当于Tomcat的webapps目录),进入到/var/www/html目录下,创建ambari和hdp目录,用来存放安装文件.
1.13 安装httpd服务(主节点)
mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
mkdir /var/www/html/hdp/HDP-GPL-3.1.5.0
tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/ambari/tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/hdp/HDP-GPL-3.1.5.0/
重启httpd服务
systemctl restart httpd
测试访问:
http://ambari-1:/ambari
http://ambari-1:/hdp
1.14 配置离线yum源(主节点)
cd /var/www/html/ambari/ambari/centos7/2.7.5.0-72
vim ambari.repo
复制到/etc/yum.repos.d目录下,并同步到其他节点
查看yum源是否配置成功
pssh -h /root/nodes.txt -i 'yum repolist'
1.15 安装jdk(所有节点)
注:安装在/usr/local/java目录下或在该目录下建立软连接,因为ambari默认会去该目录找java。
2 安装Mysql
2.1 卸载mariadb
rpm -qa | grep mariadb | xargs rpm -e --nodeps
2.2 下载mysql5.7的yum源
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
2.3 安装Mysql的yum源
rpm -ivh mysql57-community-release-el7-9.noarch.rpm
2.4 安装Mysql
yum -y install mysql-server
安装过程中可能报错如下:
执行如下命令,再次安装即可
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
2.5 启动mysql
service mysqld start
2.6 查看root密码
grep 'temporary password' /var/log/mysqld.log
2.7 执行Mysql脚本
mysql_secure_installation
2.8 配置新密码
2.9 配置root远程登录
mysql -uroot -p密码
grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
flush privileges;
2.10 拷贝mysql驱动
将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下,并重命名mysql-connector-java.jar
注:这里需要将mysql的驱动jar包拷贝到/usr/share/java目录下,如果该目录不存在,则新建目录。因为ambari-server启动后会默认到该位置找jar包,如果/usr/share/java不存在该jar包,则会报错如下:
3 安装Ambari&HDP
3.1 安装ambari-server
yum -y install ambari-server
3.2 配置ambari.properties
配置/etc/ambari-server/conf/ambari.properties
vim /etc/ambari-server/conf/ambari.properties
添加如下配置
server.jdbc.driver.path=/root/software/mysql/mysql-connector-java.jar
3.3 配置ambari-server
ambari-server setup
3.4 登录mysql创建ambari安装所需要的库
1)创建ambari数据库和ambari用户
CREATE DATABASE ambari DEFAULT CHARSET utf8 COLLATE utf8_general_ci;use ambari;CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari123';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';CREATE USER 'ambari'@'ambari-1' IDENTIFIED BY 'ambari123';GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'ambari-1';
可能包如下错:
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
这是由于mysql策略设置的问题,解决方案如下:
① 查看mysql当前密码设置策略
SHOW VARIABLES LIKE 'validate_password%';
② 执行如下命令,即可
set global validate_password_policy=0;
2)执行初始化sql语句
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
- 创建hive数据库和hive用户
注:这里创建的hive账户主要用来后续安装hive组件时使用,如果不需要安装hive,则可跳过此步
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'ambari-1' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'ambari-1';
- 创建oozie数据库和oozie账户
注:这里创建的oozie账户主要用来后续安装hive组件时使用,如果不需要安装oozie,则可跳过此步
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use oozie;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';
CREATE USER 'oozie'@'ambari-1' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'ambari-1';
5)刷新
FLUSH PRIVILEGES;
3.5 启动ambari-server
ambari-server start
查看/var/log/ambari-server/ambari-server.out日志,发现正常
3.6 所有节点安装ambari-agent
pssh -h /root/nodes.txt -i 'yum -y install ambari-agent'
修改配置文件ambari-agent.ini
vi /etc/ambari-agent/conf/ambari-agent.ini
启动ambari-agent
pssh -h /root/nodes.txt -i 'systemctl start ambari-agent'
4 部署集群
登录ambari-1:8080可看到如下页面,账户和密码均为admin
ambari-1:8080
4.1 设置集群名
4.2 设置正确版本
选择HDP-3.1和Use Local Repository
删除其他镜像源,选择Redhat,并输入HDP的url地址
4.3 配置节点并验证
设置ambari集群的节点,选择手动(这里需要保证集群其他节点的ambari-agent均正常启动)
等待准备完成
4.4 选择需要安装的服务
注:点击下一步如发生报错,说明ambari用户对目录没有执行权限,在后台执行如下命令即可
Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations
sudo chown -R ambari /var/run/ambari-server
4.5 配置
按默认配置
4.6 配置服务slaves
4.7 设置相关服务密码
4.8 测试数据库连接
注:如果测试连接失败,报错如下:
这里是由于mysql的jar包没有识别到,在server节点执行如下命令
ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/software/mysql/mysql-connector-java.jar
然后再点击测试即能正常连接
保持默认,点击下一步
保持默认,下一步
保持默认,下一步
4.9 部署
等待部署完成
安装完成(这里报黄是由于,当前安装是虚拟机安装,内存不足显示为黄色,没有问题)
4.10 完成安装
5 附ambari汉化
5.1 汉化的文件
模块 | 源码文件目录 | 编译后目录 | 安装后目录 |
---|---|---|---|
仪表盘主界面 | ambari-web/app/messages.js | ambari-web/public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
管理员界面 | ambari-admin/src/main/resources/ui/admin-web/app/scripts/i18n.config.js/main.js | 不变 | /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/scripts |
主页底部版权信息 | ambari-web/app/assets/index.html | ambari-web/public/index.html /usr/lib/ambari-server/web/index.html | |
登录框 | ambari-web/app/templates/login.hbs | public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
DashBoard 页头 | /ambari-web/app/templates/application.hbs | public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
仪表盘的关于信息 | ambari-web/app/templates/common/about.hbs | public/javascripts/app.js | |
管理页面的关于信息 | /ambari-admin/src/main/resources/ui/admin-web/app/views/modals/AboutModal.html | 不变 | /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/views/modals/AboutModal.html |
5.2 替换app.js
给出参考app.js汉化包如下:
链接:https://pan.baidu.com/s/1FOajkxocFSKxAg_huAowXw
提取码:25wu
5.3 修改logo
根据自身需要自定义/usr/lib/ambari-server/web/
5.4 修改仪表盘AboutModal.html
5.5 修改Index.html
版权信息
修改完成后重启ambari-server即可
相关文章:
Ambari2.7.5集群搭建详细流程
0 说明 本文基于本地虚拟机从零开始搭建ambari集群 1 前置条件 1.1 本地虚拟机环境 节点角色ambari-1ambari-server ambari-agentambari-2ambari-agentambari-3ambari-agent 1.2 安装包 1.3 修改主机名并配置hosts文件 hostnamectl set-hostname ambari-1 hostnamectl se…...
房产|1月全国70城房价出炉!疫情放开后你关心的城市房价有何变化
2023年1月份,70个大中城市中新房销售价格环比上涨城市个数增加;一线城市新房销售价格环比同比转涨、二三线城市环比降势趋缓,二三线城市同比下降。 | 新房/二手房12月-1月环比上涨城市数量变化 70个大中城市中,新房环比上涨城市…...
秒验 重新定义“一键登录”
现如今,一般APP在注册登录时,仍然要经历填写用户名、密码、绑定手机号等一系列传统流程,有的人认为可以通过第三方登录避免这些流程,但仍旧要经历手机验证码的环节,而且存在验证码被拦截的风险,短信费用也很…...
ZenBuster:一款功能强大的多线程跨平台URL枚举工具
关于ZenBuster ZenBuster是一款功能强大的多线程跨平台URL枚举工具,该工具基于Python开发,同时还具备暴力破解功能。 该工具适用于安全专业人员,可以在渗透测试或CTF比赛中为广大研究人员提供帮助,并收集和目标相关的各种信息。…...
2023年美赛ICM问题E:光污染 这题很好做啊!
2023年美赛ICM问题E:光污染 这题很好做啊!![在这里插入图片描述](https://img-blog.csdnimg.cn/e918cc6fc9214b53bf4859063bfe56b0.png#pic_center) 我看到DS数模的分析,看似头头是道,实则GouPi不通,我出一个,用于大家…...
InVEST模型 | 01 InVEST模型安装(Windows10)
除了在Python Anaconda环境中进行安装InVEST模型Python安装,平时最常使用的安装方式是通过.exe直接进行安装,本节介绍的就是直接下载安装的步骤: 打开InVEST模型下载页面 链接为:https://naturalcapitalproject.stanford.edu/…...
spring-web InvocableHandlerMethod 源码分析
说明 本文基于 jdk 8, spring-framework 5.2.x 编写。author JellyfishMIX - github / blog.jellyfishmix.comLICENSE GPL-2.0 类层次 HandlerMethod,处理器的方法的封装对象。HandlerMethod 只提供了处理器的方法的基本信息,不提供调用逻辑。 Invoca…...
一分钟了解微信公众号服务器配置自动回复
1、建一个web服务工程 2、开放任意一个接口, 比如 /aaa/bbb/ccc 把接口路径配置在这里,ip为公网ip或域名,其他的参数默认,对入门选手没啥用 3、该接口允许get和post两种方式访问,接口需要对于访问方式编写两套逻辑…...
打印不同的图形-课后程序(JAVA基础案例教程-黑马程序员编著-第四章-课后作业)
【案例4-1】打印不同的图形 记得 关注,收藏,评论哦,作者将持续更新。。。。 【案例介绍】 案例描述 本案例要求编写一个程序,可以根据用户要求在控制台打印出不同的图形。例如,用户自定义半径的圆形和用户自定义边长的…...
14. QT_OPenGL中引入顶点着色器和片段着色器
1. 说明: 着色器是OPenGL中非常重要的一部分,在有了模型后,如果未给模型添加着色器,那么渲染效果会折扣很多。着色器中使用到的语言是GLSL(OPenGL Shader Language),可以通过这篇文章GLSL基本语法进行了解。 效果展示:…...
ecaozzz
2. 图形报表ECharts 2.1 ECharts简介 ECharts缩写来自Enterprise Charts,商业级数据图表,是百度的一个开源的使用JavaScript实现的数据可视化工具,可以流畅的运行在 PC 和移动设备上,兼容当前绝大部分浏览器(IE8/9/10/…...
应用部署初探:6个保障安全的最佳实践
在之前的文章中,我们了解了应用部署的阶段以及常见的部署模式,包括微服务架构的应用应该如何部署等基本内容。本篇文章将介绍如何安全地部署应用程序。 安全是软件开发生命周期(SDLC)中的关键部分,同时也需要成为 S…...
转转测试环境docker化实践
测试环境对于任何一个软件公司来讲,都是核心基础组件之一。转转的测试环境伴随着转转的发展也从单一的几套环境发展成现在的任意的docker动态环境docker稳定环境环境体系。期间环境系统不断的演进,去适应转转集群扩张、新业务的扩展,走了一些…...
linux 之 ps命令介绍
哈喽,大家好,我是有勇气的牛排(全网同名)🐮 有问题的小伙伴欢迎在文末评论,点赞、收藏是对我最大的支持!!!。 前言 如过想实现对进程监控,就需要使用到ps命…...
Server端的Actor,分工非常的明确,但是只将Actor作为一部手机来用,真的合适吗?
这是一篇介绍PowerJob,Server端Actor的文章,如果感兴趣可以请点个关注,大家互相交流一下吧。 server端一共有两个Actor,一个是处理worker传过来的信息,一个是server之间的信息传递。 处理Worker的Actor叫做WorkerRequ…...
2023年美赛C题 预测Wordle结果Predicting Wordle Results这题太简单了吧
2023年美赛C题 预测Wordle结果Predicting Wordle Results 更新时间:2023-2-17 11:30 1 题目 2023年MCM 问题C:预测Wordle结果![在这里插入图片描述](https://img-blog.csdnimg.cn/e059d917333e497e90ca082605869e3c.png#pic_center) Wordle是纽约时报目前每天提…...
UE4 渲染学习笔记(未完)
原文链接:虚幻4渲染管线入门 - 知乎 从原文摘抄一下: 渲染框架 1,一套是传统的以RHICmdList为核心构建RenderPass,从RHICmdList.BeginRenderPass(...)开始,以RHICmdList.EndRenderPass()结束的框架。 2.一套是以新的Gr…...
Ajax?阿贾克斯?
一、Ajax简介 AJAX Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。 AJAX 不是新的编程语言,而是一种使用现有标准的创新方法。 AJAX 最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新部分网…...
项目质量要怎么保持? 如何借助系统软件进行管理
对于任何项目型的企业总是很关心项目成本的话题,但不知从什么时候开始,高质量等于高成本成了各个企业的一种潜意识。 如果交付的项目产品不符合质量标准,即使企业使用最好的项目管理工具或者每个里程碑都达到并在预算范围内完成项目…...
没有接口文档的怎样进行接口测试
前言: 在进行接口测试之前,一般开发会提供接口文档,给出一些接口参数和必要熟悉,便于我们编写接口脚本。但如果没有提供接口开发文档的请求下,我们该如何编写接口测试脚本呢?在编写测试脚本前要做哪些必要…...
Unity—游戏设计模式+GC
每日一句:"少年一贯快马扬帆 道阻且长不转弯 要盛大要绚烂要哗然 要用理想的泰坦尼克去撞现实的冰川 要当烧赤壁的风而非借箭的草船 要为一片海就肯翻万山。" 目录 状态模式: 外观模式 组合模式, 单例模式 命令模式 观察者模…...
【刷题笔记】--二分查找binarysearch
当给一个有序的数组,在其中查找某个数,可以考虑用二分查找。 题目1: 二分查找的思路: 设置left和right指针分别指向要查找的区间。mid指针指向这个区间的中间。比较mid指针所指的数与target。 如果mid所指的数小于target&…...
Python版本的常见模板(二) 数论(一)
文章目录前言质数相关质数判断求约数求取区间质数埃氏筛法线性筛法分解质因数欧拉欧拉函数求取单个数线性筛法求取欧拉定理求逆元快速幂/幂取模欧几里得算法求最小公约数拓展欧几里得算法求解同余方程前言 本文主要是提供Python版本的常见的一些与数论相关的模板,例…...
SQL快速上手(知识点总结+训练资料)
文章目录一 SQL训练资料二 SQL知识点总结1.SQL语句的执行顺序2.窗口函数3.字符串处理函数模糊查询三 SQL题目的总结一 SQL训练资料 牛客SQL题目 猴子数据分析题目 关注的公众号 猴子数据分析 二 SQL知识点总结 1.SQL语句的执行顺序 每一个子句产生的中间结果供接下来的子句…...
无需经验的steam搬砖,每天操作1小时,轻松创业赚钱!
我作为一个95后社畜,就喜欢倒腾各种赚钱的事情,8年老韭菜告诉你,副业创收一点都不难,难就难在是否找对项目,俗话说方向不对,努力白费! 什么做苦力、技能、直播卖货,电商等等对比我这…...
如何创建你的公司的FAQ页面?
很多企业考虑为公司搭建一个“常见问题”页面,作为帮助客户回答关于产品和服务的常见问题的一种方式。 FAQ页面和登录/销售页面不同,没有展现出直接的投资回报,但是为团队节省了其他成本,据了解,高达67%的客户相比于跟…...
CK-GW06-E03与欧姆龙PLC配置指南
CK-GW06-E03与欧姆龙PLC配置指南CK-GW06-E03是一款支持标准工业EtherCAT协议的网关控制器,方便用户集成到PLC等控制系统中。本控制器提供了网络 POE 供电和直流电源供电两种方式,确保用户在使用无POE供电功能的交换机时可采用外接电源供电;系统还集成了六…...
使用docker-compose部署RocketMQ5.0
简介:使用docker-compose部署rocketmq5.0。文中会介绍docker-compose版本以及需要注意的项第一步:进入hub.docker.com搜索rocketmq我们选择第一个,因为第一个是7个月前更新的,(我看有很多博客使用的依旧是最下面的那种…...
嵌入式ARM设计编程(四) ARM启动过程控制
文章和代码已归档至【Github仓库:hardware-tutorial】,需要的朋友们自取。或者公众号【AIShareLab】回复 嵌入式 也可获取。 一、实验目的 (1) 掌握建立基本完整的ARM 工程,包含启动代码,C语言程序等&…...
企业维基都说好,今天我们来看看 wiki 软件的缺点有哪些?
企业维基企业wiki和内部知识库可能看起来是一回事——但它们实际上是非常不同的软件类型。也许您可能不知道你在寻找的是知识基础软件,还是wiki软件。 无论哪种方式,缺乏知识都是生产力的巨大瓶颈。事实上,未能分享知识是财富500强企业每年亏…...
wordpress的密码加密/百度总部电话
原文链接请标明: http://blog.csdn.net/u011974987/article/details/52913925 本文出自:【stromxu的博客】 欢迎访问我的博客,增加点儿人气~~Xuhao’s Blog 现象描述: 我在现有的分支上进行修改代码,使用git提交本地代码后&…...
wordpress 上传幻灯片/百度爱采购推广效果怎么样?
项目介绍 一款 Java 语言基于 SpringBoot2.x、MybatisPlus、Vue、ElementUI、MySQL等框架精心打造的一款前后端分离框架,致力于实现模块化、组件化、可插拔的前后端分离架构敏捷开发框架,可用于快速搭建前后端分离后台管理系统,本着简化开发…...
建设网站培训/网页设计师
亲测有效。...
自己做网站 搜索功能开发/百度手机seo
安装好python环境,在Windows系统下运行cmd命令行,是windows提供的命令行模式。 在命令行下,可以执行python进入Python交互式环境,也可以执行python hello.py运行一个.py文件。 看到>>>是在Python交互环境下: …...
css发动机/seo搜索引擎优化方式
1、进程与线程 可以这样理解: - 进程是一个工厂,每个工厂有其独立的资源。 - 线程是工厂中的工人,可能只有一个,可能有好多个。多个工人协同完成工作。工人共享工作资源。 回到硬件上来理解: - 工厂的资源 -> 系统…...
广州网站建设o2o/新东方英语培训机构官网
说到文件大小,刚好常有人问我说MySQL是否有单个表的大小限制?限制多大呢?这里做一个简单的介绍吧。 在老版本的MySQL 3.22中,MySQL的单表限大小为4GB,当时的MySQL的存储引擎还是ISAM存储引擎。但是,当出现…...