当前位置： 首页 > news >正文

hive 常见存储格式和应用场景

news 文章来源：https://blog.csdn.net/Logan_addoil/article/details/135020610 2025/1/16 10:21:27

1.存储格式

textfile、sequencefile、orc、parquet
sequencefile很少使用（不介绍了），常见的主要就是orc 和
parquet

建表声明语句是：stored as textfile/orc/parquet

行存储：同一条数据的不同字段都在相邻位置，所以当要查找某一条记录所有数据时行存储查询速度比较快
列存储：以列来聚集数据，相同字段的值聚集在一起，所以当查询某一个指定列的所有数据时，列存储查询速度比较快

  1. Textfile

行式存储，这是hive表的默认存储格式，默认不做数据压缩，方便查看和编辑，占用空间大，I/O性能低，磁盘开销大，数据解析开销大，数据不支持分片（即代表着会带来无法对数据进行并行操作）。

  1. Orc

行列式存储，将数据按行分块，每个块按列存储，其中每个块都存储着一个索引，支持none和zlib和snappy这3种压缩方式，默认采用zlib压缩方式，不支持切片，orc存储格式能提高hive表的读取写入和处理的性能。

  1. Parquet

列式存储，是一个面向列的二进制文件格式（不可直接读取），文件中包含数据和元数据，所以该存储格式是自解析的，在大型查询时效率很快高效，parquet主要用在存储多层嵌套式数据上提供良好的性能支持，默认采用uncompressed不压缩方式。

2.压缩方式

gzip、zlib、snappy、lzo 这四种压缩方式。 压缩不会改变元数据的分割性，即压缩后原来的值不变。

建表声明语句是：tblproperties("orc.compress"="SNAPPY")

压缩率的话：gzip压缩率最佳，但压缩解压缩速度较慢
压缩速度的话：snappy压缩解压缩速度最佳，但压缩率较低
是否可切片的话：gzip/snappy/zlib是不支持切片，而lzo支持切片

3.应用场景

选压缩方式

1.数据量极其大且不经常用来做计算的数据，可采用GZip，因为其压缩占比最高，但压缩解压缩速度最慢。
2.数据量不大且经常需要用来计算的数据，可采用Snappy或者Lzo，常常还用来搭配orc和parquet存储格式实现大幅度的数据压缩存储。

选存储格式

1.hive生产环境下时常是采用orc或者parquet这2种存储格式，但最好是做好统一，别一个数仓里的表存储格式百花齐放我建议就是数仓各层统一采用orc存储格式，拥有一定的压缩率且压缩解压缩速度也适中
2.orc存储格式+zlib压缩方式适合用作数仓ODS层表设计，因为这层一般是业务贴源层来入库数据和备份，查询频率打不大，而orc存储格式+snappy压缩方式适合用作数仓DW层表设计，这公共层表一般查询较频繁，所以要考虑下查询时解压缩速度
3.一般数据量预测会很大的话才不选用orc存储格式，主要是为了避免map端数据倾斜，因为orc+snappy不支持分割文件操作，所以压缩文件只会被一个任务读取，压缩文件很大的话就会造成mapper处理该文件极其耗时，这就是所谓的map读取文件出现数据倾斜

相关文章：

hive 常见存储格式和应用场景

1.存储格式 textfile、sequencefile、orc、parquet sequencefile很少使用（不介绍了），常见的主要就是orc 和 parquet 建表声明语句是：stored as textfile/orc/parquet行存储：同一条数据的不同字段都在相邻位置&#xff…...

编程日记 2023/12/17 1:17:32

PyPDF2库对PDF实现读取的应用

目录 一、PyPDF2 库的使用 1. 文档打开和页面读取 2. 文本提取功能 3. 示例代码...

编程日记 2023/12/17 1:15:31

C++ stack用法详解

stack 栈适配器是一种单端开口的容器（如图 1 所示），实际上该容器模拟的就是栈存储结构，即无论是向里存数据还是从中取数据，都只能从这一个开口实现操作。 图 1 stack 适配器示意图 如图 1 所示，stack 适配器…...

编程日记 2023/12/17 1:13:28

QT案例 使用WMI获取win_32类的属性值，包括Win32提供程序类中的属性

最近涉及到读取WINDOWS 系统电脑设备的各种信息，在一些特殊的PE或者简化系统中是没有WMI查询工具的，所以就自己写了个查询大部分WMI属性值的工具，免去了查网站的功夫。涉及到的方法内容就汇总做个总结。 PS:因为工作中软件基本都是我一个人开…...

编程日记 2023/12/17 1:11:26

TCP/UDP 的特点、区别及优缺点

1.TCP协议 传输控制协议（TCP，Transmission Control Protocol）是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP协议通过建立连接、数据确认（编段号和确认号）和数据重传等机制，保证了数据的可靠性…...

编程日记 2023/12/17 1:09:24

使用 Python 使用贝叶斯神经网络从理论到实践

一、说明 在本文中，我们了解了如何构建一个机器学习模型，该模型结合了神经网络的强大功能，并且仍然保持概率方法进行预测。为了做到这一点，我们可以构建所谓的贝叶斯神经网络。 这个想法不是优化神经网络的损失&#xff0…...

编程日记 2023/12/17 1:08:23

Linux 中的网站服务管理

目录 1.安装服务 2.启动服务 3.停止服务 4.重启服务 5.开机自启 6.案例 1.安装服务 网址服务程序 yum insatll httpd -y 查看所有服务 systemctl list-unit-files 2.启动服务 systemctl start httpd 查看服务进程，确认是否启动 ps -ef|grep httpd 3.停止…...

编程日记 2023/12/17 1:05:20

阿里云cdn设置相同的域名路径访问不同的oss目录

1.设置回源配置，添加回源URL改写 2.设置跨域，cdn的跨域优先oss 3.回源设置...

编程日记 2023/12/17 1:04:19

提示（Prompt）工程中提示词的开发优化基础概念学习总结

本文对学习过程进行总结，仅对基本思路进行说明，结果在不同的模型上会有差异。 提示与提示工程 提示：指的是向大语言模型输入的特定短语或文本，用于引导模型产生特定的输出，以便模型能够生成符合用户需求的回应。 提示…...

编程日记 2023/12/17 1:03:18

C#基础——语法学习

C#的基本语法 在介绍基本语法之前我们先来大概讲一下创建好的这些文件都是做什么的 .sln文件：将项目和解决方案项结合到一起 .vs文件夹：用来存储当前解决方案中关于用户的设置和自定义项，比如断点，主题等。（一般都将其…...

编程日记 2023/12/17 1:00:15

vue-实现高德地图-省级行政区地块显示+悬浮显示+标签显示

<template><div><div id"container" /><div click"showFn">显示</div><div click"removeFn">移除</div></div> </template><script> import AMapLoader from amap/amap-jsapi-load…...

编程日记 2023/12/17 0:49:06

flutter ‘Gradle Libs‘ was added by build file ‘app/build.gradle‘

相关问题解释文章 How to prefer settings.gradle repositories over build.gradle repositoriesMode 解释 问题描述 此问题是&#xff0c;直接创建的flutter项目&#xff0c;需要配置其他的maven仓库地址&#xff0c;和第三方module&#xff0c;结果始终都是无法成功 错误…...

编程日记 2023/12/17 0:48:05

Java中的链式编程风格与应用案例

引言 链式编程是一种在编程中经常使用的风格&#xff0c;它可以使代码更加简洁、易读和易于维护。在Java中&#xff0c;链式编程可以通过方法链的方式来实现。本文将介绍Java中的链式编程风格&#xff0c;并通过几个应用案例来说明其实际应用。 一、链式编程的概念与特点 链式…...

编程日记 2023/12/17 0:47:04

MTK Android P Sensor架构（一）

需求场景&#xff1a; 本来如果只是给传感器写个驱动并提供能读取温湿度数据的节点&#xff0c;是一件比较轻松的事情&#xff0c;但是最近上层应用的同事要求我们按照安卓标准的流程来&#xff0c;这样他们就能通过注册一个服务直接读取传感器事件数据了。这样做的好处就是第…...

编程日记 2023/12/17 0:46:03

低代码开发与传统软件开发：未来趋势与竞争格局

近年来&#xff0c;低代码开发平台的快速发展引起了各行各业的广泛关注。低代码开发平台简化了软件开发的复杂性&#xff0c;提供了更快速、更灵活的开发方式。于是&#xff0c;许多人开始产生一个疑问&#xff1a;未来低代码开发是否会取代传统软件开发&#xff1f;今天这篇文…...

编程日记 2023/12/17 0:45:03

leetcode 股票问题全序列

1 只允许一次交易&#xff0c;121题&#xff0c;买卖股票的最佳时机 class Solution {/*给定一个数组 prices &#xff0c;它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。 你只能选择 某一天 买入这只股票&#xff0c;并选择在 未来的某一个不同的日子 卖出该股票…...

编程日记 2023/12/17 0:43:01

SpringBoot中日志的使用log4j2

SpringBoot中日志的使用log4j2 1、log4j2介绍 Apache Log4j2 是对 Log4j 的升级&#xff0c;它比其前身 Log4j 1.x 提供了重大改进&#xff0c;并提供了 Logback 中可用的许多改 进&#xff0c;同时修复了 Logback 架构中的一些问题&#xff0c;主要有&#xff1a; 异常处理…...

编程日记 2023/12/17 0:40:59

机械设备企业网站建设的效果如何

机械设备涵盖的类目比较广&#xff0c;其市场需求也是稳增不减&#xff0c;也因此无论大小企业都有增长的机会&#xff0c;当然这也需要靠谱的工具及正确的决策。 对机械设备企业来说&#xff0c;产品品质自然是首位&#xff0c;而向外打造品牌、扩展信息及拓客转化自然也是非…...

编程日记 2023/12/17 0:38:58

设计模式之结构型设计模式（二）：工厂模式 抽象工厂模式 建造者模式

工厂模式 Factory 1、什么是工厂模式 工厂模式旨在提供一种统一的接口来创建对象&#xff0c;而将具体的对象实例化的过程延迟到子类或者具体实现中。有助于降低客户端代码与被创建对象之间的耦合度&#xff0c;提高代码的灵活性和可维护性。 定义了一个创建对象的接口&…...

编程日记 2023/12/17 0:36:56

算法模板之单链表图文讲解

&#x1f308;个人主页&#xff1a;聆风吟 &#x1f525;系列专栏&#xff1a;算法模板、数据结构 &#x1f516;少年有梦不应止于心动&#xff0c;更要付诸行动。 文章目录 &#x1f4cb;前言一. ⛳️使用数组模拟单链表讲解1.1 &#x1f514;为什么我们要使用数组去模拟单链表…...

编程日记 2023/12/17 0:35:55

【强化学习-读书笔记】表格型问题的 Model-Free 方法

参考 Reinforcement Learning, Second Edition An Introduction By Richard S. Sutton and Andrew G. Barto无模型方法 在前面的文章中&#xff0c;我们介绍的是有模型方法&#xff08;Model-Based&#xff09;。在强化学习中&#xff0c;"Model"可以理解为算法…...

编程日记 2023/12/17 0:34:54

【手撕算法系列】k-means

k-means k-means算法介绍 k-means算法介绍 K-means算法是一种用于聚类的迭代算法&#xff0c;它将数据集划分为K个簇&#xff0c;其中每个数据点属于与其最近的簇的中心。这个算法的目标是最小化簇内的平方和误差&#xff08;簇内数据点与簇中心的距离的平方和&#xff09;。 …...

编程日记 2023/12/17 0:33:53

D33|动态规划！启程！

1.动态规划五部曲&#xff1a; 1&#xff09;确定dp数组&#xff08;dp table&#xff09;以及下标的含义 2&#xff09;确定递推公式 3&#xff09;dp数组如何初始化 4&#xff09;确定遍历顺序 5&#xff09;举例推导dp数组 2.动态规划应该如何debug 找问题的最好方式就是把…...

编程日记 2023/12/17 0:31:52

C语言----文件操作(二)

在上一篇文章中我们简单介绍了在C语言中文件是什么以及文件的打开和关闭操作&#xff0c;在实际工作中&#xff0c;我们不仅仅是要打开和关闭文件&#xff0c;二是需要对文件进行增删改写。本文将详细介绍如果对文件进行安全读写。 一&#xff0c;以字符形式读写文件&#xff…...

编程日记 2023/12/17 0:28:50

oracle 10046事件跟踪

10046事件是一个很好的排查sql语句执行缓慢的内部事件&#xff0c;具体设置方式如下&#xff1a; 根据10046事件跟踪SQL语句 1、 alter session set events 10046 trace name context forever,level 12; 2、执行SQL语句 3、关闭10046事件 alter session set events 10046 trace…...

编程日记 2023/12/17 0:26:48

微软自带浏览器Edge，无法关闭“保存历史记录网站的屏幕截图”解决方案

微软自带浏览器Edge&#xff0c;无法关闭“保存历史记录网站的屏幕截图”解决方案 吐槽1&#xff1a;Windows自带的Chrome内核版本的浏览器Microsofg Edge刚发布时可谓一股清流&#xff0c;启动速度快&#xff0c;占用内存较小&#xff0c;相信很多人也开始抛弃正代Chrome&…...

编程日记 2023/12/17 0:25:47

讲座 | 颠覆传统摄像方式乃至计算机视觉的“脉冲视觉”

传统相机拍摄视频时其实是以一定帧率进行采样&#xff0c;视频其实还是一串图片的集合&#xff0c;因此低帧率时会觉得视频卡&#xff0c;拍摄高速运动物体时会有运动模糊等等问题。然而你能想象这一切都可以被“脉冲视觉”这一前沿技术改变吗&#xff1f; 今天下午听了北京大学…...

编程日记 2023/12/17 0:21:44

uniGUI学习之UniHTMLMemo1富文本编辑器

1]系统自带的富文本编辑器 2]jQueryBootstarp富文本编辑器插件summernote.js 1]系统自带的富文本编辑器 1、末尾增加<p> 2、增加字体 3、解决滚屏问题 4、输入长度限制问题 5、显示　并　编辑　HTML源代码(主要是图片处理) 1、末尾增加<p> UniHTMLMemo1.Lines…...

编程日记 2023/12/17 0:18:42

详细教程 - 从零开发 鸿蒙harmonyOS应用 第四节 （鸿蒙Stage模型 登录页面 ArkTS版 推荐使用）

在鸿蒙OS中&#xff0c;Ability是应用程序提供的抽象功能&#xff0c;可以理解为一种功能。在应用程序中&#xff0c;一个页面即一种能力&#xff0c;如登录页面&#xff0c;即具有登录功能的能力。以下是对鸿蒙新建项目的登录代码功能的详细解读和工作流程的描述&#xff1a; …...

编程日记 2023/12/17 0:09:33

uniapp怎么实现授权登录

在Uniapp中实现授权登录通常涉及以下几个步骤&#xff1a; 创建登录按钮&#xff1a;在页面中创建一个按钮&#xff0c;用于触发登录操作。 获取用户授权&#xff1a;当用户点击登录按钮时&#xff0c;调用uni.login或uni.getUserInfo等API获取用户授权。 处理授权回调&#…...

编程日记 2023/12/17 0:06:30

做网站个体户经营范围/百度知道网址

介绍&#xff1a; MongoDB是一个基于分布式文件存储的数据库。高性能&#xff0c;开源&#xff0c;无模式的文档型数据库&#xff0c;为WEB应用提供可扩展的高性能数据存储&#xff0c;是当前NoSql数据库中比较热门的一种&#xff0c;由C语言编写。 MongoDB是一个介于关系数据库…...

编程日记 2025/1/16 9:50:07

织梦做英文网站/seo网站技术培训

Atitit .h5文件上传 v3 1. 上传原理1 2. V3版新特性1 3. Html1 4. Js2 5. uploadV2.js2 6. upServlet　&#xff06;　 FileUploadService {3 7. 注意&#xff1a;&#xff1a;去除struts的干扰3 8. 参考4 1. 上传原理 FormData apache io 2. V3版新特性 组件化 &#xff0…...

编程日记 2025/1/16 9:23:16

游戏私服发布网站怎么做/小程序商城制作一个需要多少钱

uedtior errorhandler 配置文件加载失败 这个uedtior太扯淡了&#xff0c;在本地idea和tomcat上各种没问题&#xff0c;一上线就不能上传图片&#xff0c;我试过了网上说的各种方法都不管用。最后我用一个十分扯淡的方式解决了。 我的框架是springboot 在后端有ueditor包&…...

编程日记 2025/1/16 8:34:52

一个人做b2b2c网站/宁德seo公司

http://blog.csdn.net/iov_aaron/article/details/47299623Diamond是使用Python实现的用于收集监控数据的工具&#xff0c;主要收集metrics类型的数据&#xff0c;即数据格式一般是metric timestamp value简单来说, Diamond就是Python实现的守护进程&#xff0c;自动定时的从你…...

编程日记 2025/1/16 6:06:28

网页及网站建设用什么软件/怎么找专业的营销团队

前言 后端在写对外的API接口时&#xff0c;一般会对参数进行签名来保证接口的安全性&#xff0c;在设计签名算法的时候&#xff0c;主要考虑的是这几个问题&#xff1a; 1. 请求的来源是否合法 2. 请求参数是否被篡改 3. 请求的唯一性 我们的签名加密也是主要针对这几个问题来…...

编程日记 2025/1/16 4:58:06

网站设计中国内优秀企业网站欣赏/it菜鸡网seo

我们寻常意义上的站长工具&#xff0c;是站长建站时用于对网站质量查询与制作的一些工具。 最为常见的特点&#xff0c;是查询SEO之于搜索引擎的数据变化&#xff0c;可以检测网站死链接、蜘蛛访问、HTML格式检测、网站速度测试、友情链接检查、网站域名IP查询等等。 但我们今…...

编程日记 2025/1/16 4:41:38