Kudu节点数规划

作者：南墨

一、概述

由于Kudu是Hadoop生态的一部分（虽然它不依赖于Hadoop生态系统），因此大多数实际应用场景需要的不仅仅是Kudu；为了输入数据，可能需要Kafka、StreamSets或Spark Streaming；对于机器学习和数据处理，可能需要Spark；对于交互式SQL，我们也肯定想要Impala。

实际上，Kudu和Hadoop生态系统紧密低集成正是其优势之一，因此我们很少单独使用Kudu，所以，在讨论Kudu集群规划时，一般不仅仅是考虑到Kudu。

举个例子：Kudu经常与Impala一起使用，Impala依赖Hive，而Hive依赖于HDFS，这就意味着我们将Kudu与Impala放在一起使用，而且还要配上Hive和HDFS。根据以往经验：Kudu和HDFS很容易和谐共存，甚至可以共享磁盘，但是我们要正确配置它们。

二、资源规划

1、Master

Master服务器负责存储元数据信息（客户端应用程序定位数据的位置时需要用到它们），一般不会频繁操作master，可以在小服务器（硬件）上安装；一般3台即可（与复制因子数相同，为奇数）。

2、Tablet

Tablet的作用是执行所有与数据相关的操作：存储、访问、编码、压缩、compaction和复制，且tablet还负责将数据复制到其他tablet服务器上，工作较为繁重，是我们需要可扩展性的地方。

规划建议与限制

选项	最佳性能（建议值）	限制
tablet server数	不超过100	300+
tablet数/tablet server（含副本）	1000+	4000+
tablet数/表/tablet server（含副本）	60+	60+
单台tablet server存储数据（含副本，压缩后）	8TB+	10TB+
单tablet存储数据（超过会性能下降、合并失败、启动慢）	10G	50G
单tablet对应CPU核心数（不考虑副本，不考虑小表）	1	多对1
tablet server内存	16G以上最佳	不低于4G

三、集群规模

1、节点数

Master 必须是奇数，3或者5台为佳，7台就多；

Tablet Server 取决于数据规模，但最多不超过1000台的规模，以300以内性能最佳。

2、tserver服务器数量 公式

t=d/(k*(1-p))*r

t	tserver数量
d	以Parquet格式存储的数据总量（可以将一段时间的数据以Parquet格式存储到HDFS上做预估）
k	每个Tablet Server的最大磁盘容量（建议8T)
p	余量，一般0.25
r	tablet副本因子，一般为3

eg.

d=120T
K=8T
p=25%
r=3
t=(120 / (8 * (1 - 0.25)))*3 = 60

四、内存和CPU

角色	内存	CPU	说明
Master	16G	8C	Master不保存用户数据，对于内存，CPU占用资源bitserver要少很多
Tablet Server	64G	2*12C	考虑跟Impala混合部署场景（有datanode和nodemanager会更大）

五、磁盘

Kudu针对SSD盘做了特别优化，推荐使用SSD

角色	OS	WAL	metadata	data
master	2*512 SSD RAID 1	共享OS	共享OS	共享OS
tablet server	2*512 SSD RAID 1	12TM.2接口（NVMe协议）SSD	共享WAL	7*2TSSD，用于存储数据

注：
1）这里NVMe是一种非常快速的PCIe闪存适配器（考虑到负载，最好为WAL规划配置快速SSD NVMe），特别是对于大型生产环境，不建议将WAL设置到专门的HDD上，这样会影响写入性能和故障的恢复时间。

性能对比：

存储介质	IOPS	吞吐率（MB/s）
HDD	55～180	50～180
SSD	3000～40000	300～2000（SAS最大能达到2812MB/s）
NVMe PCIe闪存	150000～1000000以上	最大为6400（6.4GB/s）

2）WAL、metadata、data 配置目录
–fs_wal_dir
–fs_metadata_dir
–fs_data_dirs

3）对于Kudu上的用户数据，在服务器上提供尽可能多的HDD（SSD更好！）；另外对于已经部署了HDFS的集群，与Kudu公用节点时，不必专门分开磁盘，将他们共用数据盘即可。

六、网卡

Master和Tablet Server和 2块万兆网卡绑定
参考：
https://kudu.apache.org/docs/known_issues.html

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw