Apache Hadoop生态-目录汇总-持续更新
目录
1：系统服务分布图
3台分布式架构
1台单机架构
服务版本介绍
2：服务目录
存储相关
数据采集
任务调度
即席查询
数据可视化
集群监控
元数据管理
用户认证
权限管理
第三方windows客户端
1：系统服务分布图
3台分布式架构
| node01(6G内存) | node02(6G内存) | node03(6G内存) | |
| NameNode | √ | √ | |
| DataNode | √ | √ | √ |
| ResourceManager | √ | √ | |
| NodeManager | √ | √ | √ |
| JobHistoryServer 历史服务器 | √ | ||
| Zookeeper | √ | √ | √ |
1台单机架构
| node100(20G内存) | |
| NameNode | √ |
| DataNode | √ |
| ResourceManager | √ |
| NodeManager | √ |
| JobHistoryServer 历史服务器 | √ |
| Zookeeper | √ |
服务版本介绍
| 框架 | 版本 |
| java | 8 |
| mysql | 5.7 |
| zookeeper | 3.5.7 |
| kafka | 2.12-2.2.0 |
| hadoop | 3.2.2 |
| hive | 3.1.2 |
| hbase | 2.3.6 |
| Elasticsearch | 7.8.0 |
| ClickHouse | 21.7.314 |
| spark | 3.0.0 |
| flink | 1.13.0 |
| flume | 1.9.0 |
| sqoop | 1.4.7 |
| DataX | 3.0.0 |
| Maxwell | 1.29.2 |
| Cannal | 1.1.2 |
| Azkaban | 3.90.0 |
| DolphinScheduler | 2.0.3 |
| Superset | 1.3.2 |
| Kylin | 3.0.1 4X要求spark3.1x |
| Presto | 0.189 |
| Atlas | 2.1.0 |
2：服务目录
Mysql系列：Mysql5.7编译安装
Mysql系列：Mysql5.7 Docker安装
Apache Hadoop生态部署-安装Java8环境
Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本
存储相关
Apache Hadoop生态部署-zookeeper单机安装
Apache Hadoop生态部署-zookeeper分布式安装
Apache Hadoop生态部署-kafka单机安装
Apache Hadoop生态部署-kafka分布式安装
Apache Hadoop生态部署-hadoop单机安装
Apache Hadoop生态部署-hadoop伪分布式安装
Apache Hadoop生态部署-hadoop分布式安装(HA)
Apache Hadoop生态部署-hive单节点安装
Apache Hadoop生态部署-hbase单节点安装
Apache Hadoop生态部署-hbase分布式安装
Apache Hadoop生态部署-ClickHouse单节点安装
Apache Hadoop生态部署-ClickHouse分片集群安装
Apache Hadoop生态部署-Elasticsearch单节点安装
Apache Hadoop生态部署-Elasticsearch分片集群安装
数据采集
Apache Hadoop生态部署-Flume采集节点安装
Apache Hadoop生态部署-sqoop(离线数据同步)采集节点安装
Apache Hadoop生态部署-DataX(离线数据同步)采集节点安装
Apache Hadoop生态部署-Maxwell(实时数据同步)采集节点安装
Apache Hadoop生态部署-Cannal(实时数据同步)采集节点安装
任务调度
Apache Hadoop生态部署-Azkaban集群模式安装
Apache Hadoop生态部署-DolphinScheduler安装
即席查询
Apache Hadoop生态部署-Kylin安装
Apache Hadoop生态部署-Presto安装
Apache Hadoop生态部署-Druid安装
Apache Hadoop生态部署-Doris安装
数据可视化
Apache Hadoop生态部署-Superset安装
集群监控
Apache Hadoop生态部署-Zabbix安装
Apache Hadoop生态部署-Prometheus安装
元数据管理
Apache Hadoop生态部署-Atlas安装
用户认证
Apache Hadoop生态部署-Kerberos安装
Apache Hadoop生态部署-Kerberos集成hdfs
Apache Hadoop生态部署-Kerberos集成yarn
Apache Hadoop生态部署-Kerberos集成hive
Apache Hadoop生态部署-Kerberos集成hbase
权限管理
Apache Hadoop生态部署-Ranger安装
第三方windows客户端
Apache Hadoop生态部署-zookeeper客户端prettyZoo
Apache Hadoop生态部署-kafka客户端kafkatool
Apache Hadoop生态部署-DBeaver客户端-连接hive
Apache Hadoop生态部署-DBeaver客户端-连接hive+kerberos
Apache Hadoop生态部署-DBeaver客户端-连接hbase
Apache Hadoop生态部署-DBeaver客户端-连接hbase+kerberos
相关文章：
Apache Hadoop生态-目录汇总-持续更新
目录 1：系统服务分布图 3台分布式架构 1台单机架构 服务版本介绍 2：服务目录 存储相关 数据采集 任务调度 即席查询 数据可视化 集群监控 元数据管理 用户认证 权限管理 第三方windows客户端 1：系统服务分布图 3台分布式架构…...
「JVM 编译后话」编译器优化技术
后端编译（即时编译、提前编译）的目标时将字节码翻译成本地机器码，而难点是输出优化质量较高的机器码； 文章目录1. 优化技术概览2. 方法内联（Inlining）3. 逃逸分析（Escape Analysis）4…...
【python学习笔记】：输出与输入
01 输出方式 表达式语句、print()函数和使用文件对象的write()方法。 02 输出形式 格式化输出str.format()函数、转成字符串可以使用repr()或str()函数来实现。 (1)repr()：产生一个解释器易读的表达形式，便于字符串的拼接。 例：输出平方与…...
汽车电子社区交流宣传
http://t.csdn.cn/VSLO0http://t.csdn.cn/VSLO0 当今的汽车行业已经进入了数字化时代，汽车电子软件的开发变得越来越重要。在这个领域，开发者们需要应对各种挑战，包括复杂的硬件和软件交互、高效的嵌入式编程和安全性要求。为了帮助汽车电子…...
String、StringBuilder 和 StringBuffer 详解
碎碎念 这是一道老生常谈的问题了，字符串是不仅是 Java 中非常重要的一个对象，它在其他语言中也存在。比如 C、Visual Basic、C# 等。字符串使用 String 来表示，字符串一旦被创建出来就不会被修改，当你想修改StringBuffer 或者是 …...
windows服务器上传文件解决方案
1.说明 1.如果上传到linux系统，通常使用ftp相关技术，配合windows端的ftp客户端工具比如FileZilla等进行大文件的上传工作。 2.同理windows服务器也可以开启ftp服务用来传输大文件。 3.本文介绍偷懒方式（常规是开启windows的ftp服务࿰…...
Android Studio翻译插件推介（Translation）
前言 Android Studio翻译插件适合英语水平不太好的程序员（比如：我），最常用的翻译插件Translation和AndroidLocalize，本文主要讲解Translation，亲测可用。 先看看效果：这里是Android的API,任意选…...
DNS,DNS污染劫持,DNS加密
1. DNS（Domain Name System）DNS（Domain Name System）， 也叫网域名称系统，是互联网的一项服务。它实质上是一个 域名 和 IP 相互映射的分布式数据库.DNS（Domain Name Server，域名服务…...
【Python】如何度量优秀代码——静态分析工具
静态分析工具背景有哪些静态分析工具呢度量Python代码的静态属性度量Python的生态系统代码的坏味道在类层面上在方法层面上结语背景 静态代码分析工具能够提炼出丰富的代码静态属性信息，这使得程序员可以对代码的复杂性、可修改性和可读性有进一步的了解。 有哪些…...
Open3D 点云高程归一化（基于2维地面点，Python版本）
文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 之前的博客中Open3D 点云高程归一化（基于地面点，Python版本）是基于三维空间进行最近地面点的查询操作，这里对其进行修改一下，将点云投影到水平面，基于二维空间进行最近地面点的查询，这种方式对一些较为陡峭的…...
动态系统的建模与分析
前言 CS小菜鸡控制理论入门 视频学习笔记 视频传送门：动态系统的建模与分析】9_一阶系统的频率响应_低通滤波器_Matlab/Simulink分析 拉普拉斯变换 F(s)L{f(t)}∫0∞f(t)e−stdtF(s)\mathcal{L}\{f(t)\}\int_0^\infty f(t)e^{-st}\mathrm{d}tF(s)L{f(t)}∫0∞f(t)…...
QCC51XX---HCI log
高通在新的S3/S5以及往后新的平台上面，引入了一个新的调试功能。就是标题说的HCI log，他类似air trace那样用来分析蓝牙协议的，这样我们就可以很详细地找到通信协议之间哪个部分出了问题。以前我们都是通过抓包器抓air trace分析的，抓包器一个要几十万，学会这个功能就相当…...
Redis四 原理篇
《Redis四 原理篇》 提示: 本材料只做个人学习参考,不作为系统的学习流程,请注意识别!!! 《Redis四 原理篇》《Redis四 原理篇》1、原理篇-Redis数据结构1.1 Redis数据结构-动态字符串1.2 Redis数据结构-intset1.3 Redis数据结构-Dict1.4 Redis数据结构-ZipList1.4.1 Redis数据…...
从0开始写Vue项目-Vue实现数据渲染和数据的增删改查
从0开始写Vue项目-环境和项目搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue2集成Element-ui和后台主体框架搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue页面主体布局和登录、注册页面_慕言要努力的博客-CSDN博客从0开始写Vue项目-SpringBoot整合Mybatis-plus实现…...
AI技术的发展，人工智能对我们的生活有那些影响？
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一…...
Unity中的Mathf数学运算讲解（值得收藏）
Unity中的Mathf数学运算有哪些？ Mathf.Abs(f)绝对值 计算并返回指定参数 f 绝对值 例如： // 输出 10 Debug.log(Mathf.Abs(-10)) Debug.log(Mathf.Abs(10))Mathf.Sin正弦 static function Sin (f : float) : float 计算并返回以弧度为单位指定的角 f 的…...
ABBYY FineReader16最新PDF图片文字识别软件
ABBYY FineReader16是非常好的一款 OCR 识别软件（可以识别不可编辑的PDF和图片文件），操作非常简单。ABBYY FineReader 16是一款知名的OCR文字识别软件（图片文字识别）。ABBYY 16采用了ABBYY最新推出的基于AI的OCR技术&a…...
Leetcode14. 最长公共前缀
一、题目描述： 编写一个函数来查找字符串数组中的最长公共前缀。 如果不存在公共前缀，返回空字符串 “”。 示例 1： 输入：strs [“flower”,“flow”,“flight”] 输出：“fl” 示例 2： 输入：…...
JTT808jt1078
前言 交通部与2016年10月份推出了JT/T 1078-2016标准，全称是<道路运输车辆卫星定位系统视频通信协议> JTT808 808消息头内容如下表所示： 起始字节字段数据类型描述及要求0消息IDWORD2消息体属性WORD消息体属性格式结构图见图24终端手机号BCD[6…...
数字孪生加持，水利水电工程或将实现全生命周期管理
水利水电工程在数字孪生技术的加持，使得建设和运营更加高效和智能化，将工程中各种元素、过程和系统数字化，并建立数字孪生模型，以实现工程建设和运营的智能化管理。数字孪生对水利水电实现对工程建设的全生命周期管理，…...
龙虎榜——20250610
上证指数放量收阴线，个股多数下跌，盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型，指数短线有调整的需求，大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的：御银股份、雄帝科技 驱动…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...
江苏艾立泰跨国资源接力：废料变黄金的绿色供应链革命
在华东塑料包装行业面临限塑令深度调整的背景下，江苏艾立泰以一场跨国资源接力的创新实践，重新定义了绿色供应链的边界。 跨国回收网络：废料变黄金的全球棋局 艾立泰在欧洲、东南亚建立再生塑料回收点，将海外废弃包装箱通过标准…...
在Ubuntu中设置开机自动运行（sudo）指令的指南
在Ubuntu系统中，有时需要在系统启动时自动执行某些命令，特别是需要 sudo权限的指令。为了实现这一功能，可以使用多种方法，包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法，并提供…...
【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统
目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索（基于物理空间 广播范围）2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...
以光量子为例，详解量子获取方式
光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学（silicon photonics）的光波导（optical waveguide）芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中，光既是波又是粒子。光子本…...
Linux 中如何提取压缩文件 ？
Linux 是一种流行的开源操作系统，它提供了许多工具来管理、压缩和解压缩文件。压缩文件有助于节省存储空间，使数据传输更快。本指南将向您展示如何在 Linux 中提取不同类型的压缩文件。 1. Unpacking ZIP Files ZIP 文件是非常常见的，要在 …...
GitFlow 工作模式（详解）
今天再学项目的过程中遇到使用gitflow模式管理代码，因此进行学习并且发布关于gitflow的一些思考 Git与GitFlow模式 我们在写代码的时候通常会进行网上保存，无论是github还是gittee，都是一种基于git去保存代码的形式，这样保存代码…...
2025年渗透测试面试题总结-腾讯[实习]科恩实验室-安全工程师（题目+回答）
安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。 目录 腾讯[实习]科恩实验室-安全工程师 一、网络与协议 1. TCP三次握手 2. SYN扫描原理 3. HTTPS证书机制 二…...
人工智能--安全大模型训练计划：基于Fine-tuning + LLM Agent
安全大模型训练计划：基于Fine-tuning LLM Agent 1. 构建高质量安全数据集 目标：为安全大模型创建高质量、去偏、符合伦理的训练数据集，涵盖安全相关任务（如有害内容检测、隐私保护、道德推理等）。 1.1 数据收集 描…...