当前位置：首页 > news >正文

（十五）大数据实战——hive的安装部署

news 2026/2/8 11:19:49

前言

Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。

正文

上传hive安装包到hadoop101服务器/opt/software目录

解压apache-hive-3.1.3-bin.tar.gz到/opt/module/目录下

- 命令：tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/

修改apache-hive-3.1.3-bin名字为hive-3.1.3，便于使用

命令：mv apache-hive-3.1.3-bin hive-3.1.3

配置hive的环境变量，便于使用hive

- 使用vi编辑器修改/etc/profile.d/my_env.sh下的自定义环境变量，添加hive的环境变量

- 使配置的环境变量生效， source /etc/profile.d/my_env.sh，使hive命令生效

先启动hadoop集群，再启动hive

- hadoop集群启动

- 初始化元数据库（默认是derby数据库）:bin/schematool -dbType derby -initSchema

- 启动hive客户端，查看hive是否已经可以使用

结语

到这里，关于hive的安装部署就结束了，我们下期见。。。。。。

（十五）大数据实战——hive的安装部署

前言 Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本节内容我们主要介绍一下hive的安装与部署的相关内容。正文上传hive安装包到hadoop101服务器/opt/software目录解…...

编程日记 2023/8/9 1:02:49

MySQL安装和卸载

1.MySQL概述 MySQL概述 MySQL是一个[关系型数据库管理系统]，由瑞典MySQL AB 公司开发，2008年被sun公司收购， 2009sun又被oracle收购，所以属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用…...

编程日记 2023/8/9 1:01:48

ELK、ELFK日志分析系统

菜单一、ELK简介1.1 ELK组件说明1.1.1 ElasticSearch1.1.2 Kiabana1.1.3 Logstash 1.2 可以添加的其它组件1.2.1 Filebeat1.2.2 缓存/消息队列（redis、kafka、RabbitMQ等）1.2.3 Fluentd 1.3 为什么要用ELK1.4 完整日志系统的基本特征1.5 ELK 的工作原理 …...

编程日记 2023/8/9 1:00:47

JVM基础篇-StringTable

StringTable 特性常量池中的字符串仅是符号，第一次用到时才变为对象利用串池的机制，来避免重复创建字符串对象字符串变量拼接的原理是 StringBuilder （1.8） 字符串常量拼接的原理是编译期优化可以使用 intern 方法&#…...

编程日记 2023/8/9 0:59:44

探秘手机隐藏的望远镜功能：开启后，观察任何你想看的地方

当今的智能手机不仅仅是通信工具，它们蕴藏着各种隐藏的功能，其中之一就是让你拥有望远镜般的观察能力。是的，你没有听错！今天我们将探秘手机中隐藏的望远镜功能，这项神奇的功能可以让你打开后，轻松观察任何…...

编程日记 2023/8/9 0:58:43

正运动亮相2023半导体设备材料与核心部件展示会，助力半导体产业高速高精应用

■展会名称： 第11届（2023）半导体设备材料与核心部件展示会 ■展会日期 2023年8月9日-11日 ■展馆地点无锡太湖国际博览中心A6馆 ■展位号 A6-A361 正运动技术，作为国内领先的运动控制企业，将于2023年8月9日参加…...

编程日记 2023/8/9 0:57:42

如何在MongoDB中添加新用户

如何在MongoDB中添加新用户？ MongoDB是一款流行的NoSQL数据库，它的可扩展性强，可进行分布式部署，且具有高可用性。其许多优势使得越来越多的企业和组织选择MongoDB作为其数据库系统。本文将介绍如何在MongoDB中添加新用户。第一步…...

编程日记 2023/8/9 0:56:40

幻读怎么复现

大家好，我是想想。很久没有给大家分享技术了，主要在计划一些事情，几乎没什么时间爽文了。今天从实操上实现了MySQL事务隔离复现问题，就记录分享给大家吧。正文我们知道，著名的四大事务特性ACID特性 Atomicity…...

编程日记 2023/8/9 0:55:38

无脑入门pytorch系列（二）—— torch.mean

本系列教程适用于没有任何pytorch的同学（简单的python语法还是要的），从代码的表层出发挖掘代码的深层含义，理解具体的意思和内涵。pytorch的很多函数看着非常简单，但是其中包含了很多内容，不了解其中的意思…...

编程日记 2023/8/9 0:54:37

ansible-kubeadm在线安装高可用K8S集群v1.19-v1.20版本

ansible可以安装的KS8版本如下： 请按照此博客中的内容操作后，才可以通过下面的命令查询到版本。 [rootk8s-master01 ~]# yum list kubectl --showduplicates | sort -r kubectl.x86_64 1.20.0-0 kubern…...

编程日记 2023/8/9 0:53:35

点entity function f2(){var x1;var flogtrue;//闪烁//var x0;var flogfalse;//渐显viewer.entities.add({name:"圆点point闪烁",position:Cesium.Cartesian3.fromDegrees(116.200.03,39.530.03,0),point : {show : true, // defaultcolor :new Cesium.CallbackProp…...

编程日记 2023/8/9 0:52:33

LISA:通过大语言模型进行推理分割

论文：https://arxiv.org/pdf/2308.00692 代码：GitHub - dvlab-research/LISA 摘要尽管感知系统近年来取得了显著的进步，但在执行视觉识别任务之前，它们仍然依赖于明确的人类指令来识别目标物体或类别。这样的系统缺乏主动推理…...

编程日记 2023/8/9 0:51:32

opencv基础40-礼帽运算（原始图像减去其开运算）cv2.MORPH_TOPHAT

礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息，或者得到比原始图像的边缘更亮的边缘信息。例如，图 8-22 是一个礼帽运算示例，其中： 左图是原始图像。中间的图是开运算图像。右图是原始图像减开运…...

编程日记 2023/8/9 0:50:30

php中的array_filter()函数

php中的array_filter()函数用于筛选数组中的元素，并返回一个新的数组，新数组的元素是所有返回值为true的原数组元素。 array_filter()函数的使用语法如下： array_filter ( array $array [, callable $callback [, int $flag 0 ]] ) : array…...

编程日记 2023/8/9 0:49:28

ArcGIS Pro基础：【按顺序编号】工具实现属性字段的编号自动赋值

本次介绍一个字段的自动排序编号赋值工具，基于arcgis 的字段计算器工具也可以实现类似功能，但是需要自己写一段代码实现， 相对而言不是很方便。如下所示，该工具就是【编辑】下的【属性】下的【按顺序编号】工具。其操作方法是…...

编程日记 2023/8/9 0:48:27

neo4j终端操作

1】进入容器 (base) xiaokkkxiaokkkdeMacBook-Pro ~ % docker exec -it 77ed5fe2b52e /bin/bash 2】启动、停止neo4j root77ed5fe2b52e:/var/lib/neo4j/bin# ./neo4j start Neo4j is already running (pid:7). Run with --verbose for a more detailed error message.root7…...

编程日记 2023/8/9 0:47:26

【深度学习】在 MNIST实现自动编码器实践教程

一、说明自动编码器是一种无监督学习的神经网络模型，主要用于降维或特征提取。常见的自动编码器包括基本的单层自动编码器、深度自动编码器、卷积自动编码器和变分自动编码器等。其中，基本的单层自动编码器由一个编码器和一个解码器组成，编…...

编程日记 2023/8/9 0:46:25

SpringBoot3基础用法

技术和工具「!喜新厌旧」一、背景最近在一个轻量级的服务中，尝试了最新的技术和工具选型； 即SpringBoot3，JDK17，IDEA2023，Navicat16，虽然新的技术和工具都更加强大和高效，但是适应采坑的过程…...

编程日记 2023/8/9 0:45:23

6、移除链表元素

方法1：原链表删除元素伪代码： 首先判断头节点是否是待删除元素。（头节点和其他节点的删除方法不一样） while(head ! null && head->value target) //如果链表为 1 1 1 1 1，要删除元素1时用if就会失效 {h…...

编程日记 2023/8/9 0:44:20

大厂容器云实践之路（一）

1-华为CCE容器云实践华为企业云 | CCE容器引擎实践 ——从IaaS到PaaS到容器集群容器部署时代的来临 IaaS服务如日中天 2014-2015年，大家都在安逸的使用IaaS服务； 亚马逊AWS的部署能力方面比所有竞争对手…...

编程日记 2023/8/9 0:43:19

铭豹扩展坞 USB转网口突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别，但在其他电脑上正常工作时，问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤，帮助你快速找到故障原因：背景：一个M-pard（铭豹）扩展坞的网卡突然无法识别了，扩展出来的三个USB接口正常。…...

编程新知 2026/2/8 4:37:22

【kafka】Golang实现分布式Masscan任务调度系统

要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。服务端程序： 从kafka消费者接收…...

编程新知 2026/2/4 19:38:41

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/11/18 0:32:13