济宁万达网站建设/石家庄网站建设seo

Hive 环境搭建与基本使用

Hive 安装包下载地址：https://dlcdn.apache.org/hive/

注：安装 Hive 前要先安装好 MySQL

1. MySQL 安装

MySQL 安装包下载地址：https://dev.mysql.com/downloads/mysql/archives/community/MySQL%20::%20Download%20MySQL%20Community%20Serverhttps://dev.mysql.com/downloads/mysql/archives/community/

说明：三台节点都安装

• 检查 MySQL 和 mariadb 是否已安装过，有就删除，没有则忽略

rpm -qa|grep mysql
rpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps
rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

• 删除 MySQL 分散的文件夹

whereis mysql
rm -rf /usr/lib64/mysql
find / -name mysql
rm -rf 

• 准备安装包 MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar， 上传，解压，命令：

tar -xvf MySQL-5.6.27-1.linux_glibc2.5.x86_64.rpm-bundle.tar

• 安装服务端：

rpm -ivh MySQL-server-5.6.27-1.linux_glibc2.5.x86_64.rpm

• 安装客户端：

rpm -ivh MySQL-client-5.6.27-1.linux_glibc2.5.x86_64.rpm

• 启动MySQL：

service mysql start

• 获取初始密码：

cat /root/.mysql_secret

• 登录MySQL：

mysql -uroot -pxxx

• 修改密码：

mysql> set PASSWORD=PASSWORD('111111');

• 退出重新登录，验证新密码是否设置成功：

mysql> exit
mysql -uroot -p111111

• 增加远程登录权限：

mysql> grant all privileges on *.* to 'root'@'%' identified by '111111' with grant option;
mysql> flush privileges;

至此 MySQL 安装成功

2. Hive 安装

说明：安装到一个节点即可

1. Hive1 安装

• 安装 MySQL

• 上传软件包 apache-hive-1.2.1-bin.tar.gz

• 解压安装包并更名：

tar -zxvf apache-hive-1.2.1-bin.tar.gz
mv apache-hive-1.2.1-bin hive

• 修改配置文件，目录下面没有，直接vim就可以：

[root@hadoop0 ~]# cd /software/hive/conf/
[root@hadoop0 conf]# vim hive-site.xml
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>111111</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property>
</configuration>

一定要记得加入 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar 该 jar 包放置在 hive 的根路径下的 lib 目录

安装完成，配置环境变量

vi /etc/profile
export HIVE_HOME=/software/hive
export PATH=$PATH:$HIVE_HOME/bin

• 验证 Hive 安装

[root@hadoop0 lib]# hive --help

• 初始化元数据库

schematool -dbType mysql -initSchema

• 启动 Hive 客户端(直接使用 hive 启动也行)

[root@hadoop0 bin]# hive --service cli>

• 退出

quit; 或 exit;

2. Hive2 安装

上传安装包 apache-hive-2.3.8-bin.tar.gz

解压安装包

tar -zxvf apache-hive-2.3.8-bin.tar.gz
mv apache-hive-2.3.8-bin hive2

修改配置文件（目录下面没有，直接vim就可以了）

cd hive2/conf
vi hive-site.xml # 将下面内容写入hive-site.xml文件中
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>111111</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property>
</configuration>

说明：

• 配置连接器信息，设置 MySQL 作为元数据存储的位置

  • localhost 表示：MySQL 和 Hive 客户端装在 Hadoop0 上
  • 若 MySQL 和 Hive 不装在一起，则 “localhost” 改为安装 MySQL 的机器 ip

• hivedb2 表示：是之后初始化后，在MySQL里生成的元数据库的名字

<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hivedb2?createDatabaseIfNotExist=true</value>
</property>
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value>
</property>

• 配置用户名和密码

<property><name>javax.jdo.option.ConnectionUserName</name><value>root</value>
</property>
<property><name>javax.jdo.option.ConnectionPassword</name><value>111111</value>
</property>

• 配置存到 HDFS 上默认路径的信息

<property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>
</property>

将 MySQL 驱动包 mysql-connector-java-5.1.40-bin.jar 放到 hive 的根路径下的 lib 目录

修改环境变量

vi /etc/profile
export HIVE_HOME=/software/hive2
export PATH=$PATH:$HIVE_HOME/bin
source /etc/profile

验证Hive安装：

hive --help

初始化元数据（当 Hive 依赖普通分布式 Hadoop 集群，不做初始化也是 OK 的，当 Hive 第一次启动的时候会自动进行初始化）：

schematool -dbType mysql -initSchema

3. 启动 Hive 的两个前提

1. MySQL 元数据库已开启

[root@hadoop0 ~]# service mysql statusSUCCESS! MySQL running (2022)

2. Hadoop 已启动

[root@hadoop0 ~]# jps
23106 Jps
2787 NameNode
3115 ResourceManager
7119 RunJar

启动 Hive 客户端：hive

退出 Hive 客户端：quit; 或 exit;

4. Hive 重装

Hive 重装需要注意：

• 保证之前 Hive 数据仓库的默认的 hdfs 目录不存在（删掉或创建新的）
• 保证元数据库不存在，或换一个名字

基于同一个 Hadoop 集群搭建多个不同的 Hive 数据仓库：

• 保证默认的仓库路径不一致
• 保证元数据库的路径不一致