hive3.1.2编译spark3安装包

此安装包是《去破解站长》在公司真实生产环境所使用的安装包。

引言：Hive引擎包括：默认MR、tez、spark

Download:www.qupojie.com

1、Hive on Spark

1、Hive onSpark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。

2、Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark
SQL语法，Spark负责采用RDD执行。

2、hive3.1.2编译

• 使用hive3.1.2和spark3.0.0配置hive on
  spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容。
• hive3.1.2默认支持的版本为spark2.3.0，而spark3.0对应的hadoop版本是hadoop2.6或hadoop2.7或更高。
• 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。
• 目前，有关hive3.1.2编译的帖子相对较少，，除了兼容spark3.0.0外，还将hive3.1.3的guava的版本提升到了hadoop3.x一致，以兼容hadoop3.2.0。
• 另外还修复官方hive3.1.2release版本的一些bug，详见hive3.1.2修复bug。