Hadoop学习笔记（HDP）-Part.03 资源规划
目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume
三、资源规划
1.资源配置
| 主机名 | FQDN | IP | 服务器配置 |
|---|---|---|---|
| hdp01 | hdp01.hdp.com | 192.168.111.201/24 | 8c、8G、200GB+50GB |
| hdp02 | hdp02.hdp.com | 192.168.111.202/24 | 8c、8G、200GB+50GB |
| hdp03 | hdp03.hdp.com | 192.168.111.203/24 | 8c、8G、200GB+3*100GB |
| hdp04 | hdp04.hdp.com | 192.168.111.204/24 | 8c、8G、200GB+3*100GB |
| hdp05 | hdp05.hdp.com | 192.168.111.205/24 | 8c、8G、200GB+3*100GB |
2.磁盘规划
| 主机 | 磁盘分布 |
|---|---|
| hdp01 hdp02 | /dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode |
| hdp03 | /dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
| hdp04 hdp05 | /dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
3.组件规划
| 组件 | 版本 | hdp01 | hdp02 | hdp03 | hdp04 | hdp05 | |
| ansible | 2.9.27 | ★ | |||||
| MySQL | 5.7.25 | ★ | ★ | ||||
| Ambari-metrics | Metrics Collector | 0.2.0 | ★ | ||||
| Metrics Monitor | ★ | ★ | ★ | ★ | ★ | ||
| Grafana | ★ | ||||||
| ZooKeeper | ZooKeeper Server | 3.4.6 | ★ | ★ | ★ | ||
| ZooKeeper Client | ★ | ★ | |||||
| HDFS | NameNode | 3.1.1.3.1 | ★ | ★ | |||
| DataNode | ★ | ★ | ★ | ||||
| JournalNode | ★ | ★ | ★ | ||||
| zkfc | ★ | ★ | |||||
| YARN | ResourceManager | 3.1.1 | ★ | ★ | |||
| NodeManager | ★ | ★ | ★ | ||||
| HistoryServer | ★ | ||||||
| TimelineService | ★ | ||||||
| Timeline Service Reader | ★ | ||||||
| Registry DNS | ★ | ||||||
| OpenLDAP | openldap-server | 2.4.44 | ★ | ★ | |||
| openldap-client | ★ | ★ | ★ | ★ | ★ | ||
| migrationtools | ★ | ★ | |||||
| phpldapadmin | ★ | ★ | |||||
| keepalived | v1.3.5 | ★ | ★ | ||||
| HaProxy | 1.5.18 | ★ | ★ | ||||
| kerberos | Krb5-server | 1.15.1 | ★ | ★ | |||
| krb5-workstation | ★ | ★ | ★ | ★ | ★ | ||
| Ranger | Ranger Admin | 1.2.0.3.1 | ★ | ★ | |||
| UserSync | ★ | ||||||
| Hive | HiveServer2 | 3.1.0 | ★ | ★ | |||
| MetaStore | ★ | ★ | |||||
| Tez | 0.9.1 | ★ | ★ | ★ | ★ | ★ | |
| HBase | HMaster | 2.0.2 | ★ | ★ | |||
| RegionServer | ★ | ★ | ★ | ||||
| Spark | Spark2 History Server | 2.3.0 | ★ | ||||
| Flink | client | 1.9.3 | ★ | ★ | ★ | ★ | ★ |
| Kafka | broker | 2.0.0 | ★ | ★ | ★ | ||
| kafka manager | 2.0.0.2 | ★ | |||||
| Flume | flume | 1.9.0 | ★ | ★ | ★ | ||
相关文章：
Hadoop学习笔记（HDP）-Part.03 资源规划
目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …...
一个最新国内可用的免费GPT4，Midjourney绘画网站+使用教程
一、前言 ChatGPT GPT4.0，Midjourney绘画，相信对大家应该不感到陌生吧？简单来说，GPT-4技术比之前的GPT-3.5相对来说更加智能，会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。 然而，GPT-4对普…...
深入了解Java8新特性-日期时间API之ZonedDateTime类
阅读建议 嗨，伙计！刷到这篇文章咱们就是有缘人，在阅读这篇文章前我有一些建议： 本篇文章大概19000多字，预计阅读时间长需要10分钟以上。本篇文章的实战性、理论性较强，是一篇质量分数较高的技术干货文章&…...
使用Vue写一个日期选择器
在 Vue 中实现日期选择器的方法有很多，下面提供一个简单的实现方法。 首先，在需要使用日期选择器的组件中引用 Vue 和 date-fns 库，date-fns 库是一个轻量级的 JavaScript 时间日期工具库，可以方便地处理日期的格式化和计算。 &…...
19、pytest通过mark标记测试函数
官方实例 [pytest] markers slow:marks tests as slow(deselect with -m "not slow")serial# content of test_mark.py import pytestpytest.mark.slow def test_mark_function():print("test_mark_function was invoked")assert 0解读与实操 通过使用p…...
Linux环境变量与命令行参数
Linux环境变量与命令行参数 一.命令行参数1.语法2.应用1:简易计算器 二.环境变量1.环境变量的概念2.环境变量的作用3.进一步理解环境变量的作用4.常见环境变量5.导出环境变量(添加环境变量)6.环境变量的特性7.另一种获取环境变量的方式8.小功能:用于身份验证的代码9.补充:第三种…...
jQuery实现3D轮播图
通过CSS3的3D变换和jQuery Transit插件实现了一个3D旋转的图片轮播效果 HTML部分： div id“banner”：定义了一个id为"banner"的div标签，作为图片轮播的容器。 ul: 在"banner"中定义了一个无序列表，每个列表项…...
Java面试题（每天10题）-------连载（43）
目录 Spring篇 1、请举例说明Qualifier注解 2、构造方法注入和设值注入有什么区别？ 3、Spring框架中有哪些不同类型的事件？ 4、FileSystemResource和ClassPathResource有什么区别？ 5、Spring框架中都用到了哪些设计模式？ 6…...
Python高级数据结构——并查集（Disjoint Set）
Python中的并查集（Disjoint Set）：高级数据结构解析 并查集是一种用于处理集合的数据结构，它主要支持两种操作：合并两个集合和查找一个元素所属的集合。在本文中，我们将深入讲解Python中的并查集࿰…...
pytorch学习9-优化器学习
系列文章目录 pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…...
MySQL之锁
MySQL之锁 锁是计算机在执行多线程或线程时用于并发访问同一共享资源时的同步机制，MySQL中的锁是在服务器层或者存储引擎层实现的，保证了数据访问的一致性与有效性 MySQL锁可以按模式分类为：乐观锁与悲观锁。 按粒度分可以分为全局锁、表级锁…...
今日现货黄金最新建议
近期现货黄金价格再度逼近历史高位，很多本来在场外观望的投资者，都纷纷希望进场一试身手。然而大涨大跌的行情并不是很适合新手投资者参与，如果大家还没做好技术上的准备，可以多听听正规交易平台的专业人士的意见。 在正式入市之前…...
基于混沌算法的图像加密解密系统
1.研究背景与意义 项目参考AAAI Association for the Advancement of Artificial Intelligence 研究背景与意义： 随着信息技术的迅猛发展，图像的传输和存储已经成为现代社会中不可或缺的一部分。然而，随着互联网的普及和信息的快速传播&am…...
vscode插件离线下载
离线下载插件地址：https://marketplace.visualstudio.com/VSCode...
第二十一章总结
一、网络通信： 1.网络程序设计基础：网络程序设计编写的是与其他计算机进行通信的程序。 1.1局域网与互联网：为了实现两台计算机的通信，必须用一个网络线路连接两台计算机 2.网络协议：网络协议规定了计算机之间连接的…...
查看端口占用并杀死进程
1.安装查看工具 sudo yum install net-tools 2.查看占用情况 netstat -tunlp | grep 8089 3.杀死进程 kill -9 227...
前后端数据传输格式(上)
作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO 联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬 作为后端，写…...
maven的package和install命令有什么区别以及Maven常用命令与GAV坐标与Maven依赖范围与Maven依赖传递与依赖排除与统一声明版本号
maven的package和install命令有什么区别以及Maven常用命令与GAV坐标与Maven依赖范围与Maven依赖传递与依赖排除与统一声明版本号 一: maven的package和install命令有什么区别 一般都与clean命令结合使用 mvn package 生成target目录，编译、测试代码，…...
【动手学深度学习】(六)权重衰退
文章目录 一、理论知识二、代码实现2.1从零开始实现2.2简洁实现 【相关总结】 主要解决过拟合 一、理论知识 1、使用均方范数作为硬性限制（不常用） 通过限制参数值的选择范围来控制模型容量 通常不限制偏移b 小的意味着更强的正则项 使用均方范数作为柔…...
动手学习深度学习-跟李沐学AI-自学笔记(3)
一、深度学习硬件-CPU和GPU 芯片：Intel or AMD 内存：DDR4 显卡：nVidia 芯片可以和GPU与内存通信 GPU不能和内存通信 1. CPU 能算出每一秒能运算的浮点运算数（大概0.15左右） 1.1 提升CPU利用率 1.1.1 提升缓存…...
3.2 Puppet 和 Chef 的比较与应用
Puppet 和 Chef 的比较与应用 文章目录 Puppet 和 Chef 的比较与应用Puppet 和 Chef 简介工作原理对比**模块化的重要性**： Puppet 和 Chef 简介 介绍 Puppet 和 Chef 这两个流行的配置管理工具的背景和用途。强调它们的共同目标：实现自动化的系统配置和…...
promise使用示例
下面是一个 Promise 使用示例，通过 Promise 实现异步操作的链式调用： const getUser (userId) > {return new Promise((resolve, reject) > {// 模拟异步请求setTimeout(() > {const users [{ id: 1, name: Alice },{ id: 2, name: Bob },{ …...
一起学docker系列之十四Dockerfile微服务实践
目录 1 前言2 创建微服务模块2.1 **创建项目模块**2.2 **编写业务代码** 3 编写 Dockerfile4 构建 Docker 镜像5 运行 Docker 容器6 测试微服务7 总结8 参考地址 1 前言 微服务架构已经成为现代软件开发中的一种重要方式。而 Docker 提供了一种轻量级、便携式的容器化解决方案…...
Qt Creator 11.0.3同时使用Qt6.5和Qt5.14.2
Qt Creator 11.0.3同时使用Qt6.5和Qt5.14.2 概要方法1.打开Qt Creator中的Kit，这里我直接附上几张截图，不同的版本打开位置可能有所不同，总之最终目的是要打开构建套件（Kit）2.可以看到构建套件里面有包含了“构建套件K…...
Python中字符串列表的相互转换详解
更多资料获取 📚 个人网站：ipengtao.com 在Python编程中，经常会遇到需要将字符串列表相互转换的情况。这涉及到将逗号分隔的字符串转换为列表，或者将列表中的元素连接成一个字符串。本文将深入讨论这些情景，并提供丰富…...
09、pytest多种调用方式
官方用例 # content of myivoke.py import sys import pytestclass MyPlugin:def pytest_sessionfinish(self):print("*** test run reporting finishing")if __name__ "__main__":sys.exit(pytest.main(["-qq"],plugins[MyPlugin()]))# conte…...
分布式锁常见实现方案
分布式锁常见实现方案 基于 Redis 实现分布式锁 如何基于 Redis 实现一个最简易的分布式锁？ 不论是本地锁还是分布式锁，核心都在于“互斥”。 在 Redis 中， SETNX 命令是可以帮助我们实现互斥。SETNX 即 SET if Not eXists (对应 Java 中…...
26、pytest使用allure解读
官方实例 # content of pytest_quick_start_test.py import allurepytestmark [allure.epic("My first epic"), allure.feature("Quick start feature")]allure.id(1) allure.story("Simple story") allure.title("test_allure_simple_te…...
Uncle Maker: (Time)Stamping Out The Competition in Ethereum
目录 笔记后续的研究方向摘要引言贡献攻击的简要概述 Uncle Maker: (Time)Stamping Out The Competition in Ethereum CCS 2023 笔记 本文对以太坊 1 的共识机制进行了攻击，该机制允许矿工获得比诚实同行更高的挖矿奖励。这种名为“Uncle Maker”的攻击操纵区块时间…...
浅谈可重入与线程安全
文章目录 可重入与线程安全的关系 可重入 若一个程序或子程序可以“在任意时刻被中断然后操作系统调度执行另一段代码，这段代码又使用了该副程序不会出错”，则称其为可重入（reentrant 或 re-entrant）的。即当该副程序正在运作时&…...