当前位置： 首页 > news >正文

Hudi介绍

news 文章来源：https://blog.csdn.net/m0_57320261/article/details/135034282 2025/1/16 17:37:33

  在数据不断写入 Hudi 期间，Hudi 会不断生成 commit、deltacommit、clean 等 Instant 记录每一次操作类型、状态及详细的元数据，这些 Instant 最终都会存到 .hoodie 元数据目录下，为了避免元数据文件数量过多，ActiveTimeline 越来越长，需要对比较久远的操作进行归档（archive），将这部分操作移到 .hoodie/archive 目录下，单独形成一个 ArchivedTimeline。

Apache Hudi中，commit、deltacommit和clean是与数据管理和维护相关的文件。

  1. Commit（提交）文件：在Hudi中，commit文件是用于记录数据写入操作的元数据文件。每次写入数据时，Hudi会生成一个commit文件，其中包含了写入数据的时间戳、数据文件的路径等信息。Commit文件的存在可以确保数据的一致性和可恢复性。

  2. DeltaCommit（增量提交）文件：DeltaCommit文件是用于记录增量数据写入操作的元数据文件。增量数据是指在已有数据的基础上进行的更新、插入或删除操作。每次进行增量操作时，Hudi会生成一个DeltaCommit文件，其中包含了增量操作的元数据信息。DeltaCommit文件的存在可以追踪到增量操作的历史，以便在需要时进行回滚或恢复。

  3. Clean（清理）文件：Clean文件是用于记录数据清理操作的元数据文件。当Hudi需要清理或删除过期或无效的数据时，会生成一个Clean文件，其中包含了要清理的数据文件的路径等信息。Clean文件的存在可以确保数据的清理操作被记录和跟踪。

这些文件的存在和管理是为了确保数据的一致性、可恢复性和清理操作的追踪。

Clean（清理）文件一般用于记录需要清理的过期或无效的数据文件的路径等信息。具体来说，Clean文件通常用于清理已经过期的旧版本数据文件，或者清理已经标记为删除的数据文件。通过清理这些文件，可以释放存储空间并保持数据的整洁性。清理的具体规则和策略可以根据实际需求进行配置和管理。

17张图带你彻底理解Hudi Upsert原理 - 知乎 (zhihu.com)

相关文章：

Hudi介绍

在数据不断写入 Hudi 期间，Hudi 会不断生成 commit、deltacommit、clean 等 Instant 记录每一次操作类型、状态及详细的元数据，这些 Instant 最终都会存到 .hoodie 元数据目录下，为了避免元数据文件数量过多，ActiveTimeline 越来越…...

编程日记 2023/12/16 22:07:48

MYSQl基础操作命令合集与详解

MySQL入门 先来个总结 SQL语言分类 DDL（Data Definition Language） - 数据定义语言: 用于定义和管理数据库结构，包括创建、修改和删除数据库对象。 示例：CREATE, ALTER, DROP等语句。 DML（Data Manipulation Lan…...

编程日记 2023/12/16 22:06:47

【Flink名称解释一】什么是cataLog

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的&#x…...

编程日记 2023/12/16 22:05:46

ES如何提高准确率之【term-centric】

提高准确率的方法有很多，但是要在提高准确率的同时保证召回率往往比较困难，本文只介绍一种比较常见的情况。 问题场景 我们经常搜索内容，往往不止针对某个字段进行搜索，比如：标题、内容，往往都是一起搜索…...

编程日记 2023/12/16 21:58:40

DDD落地：爱奇艺打赏服务，如何DDD架构？

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题： 谈谈你的DDD落地经验？ 谈谈你对DDD的理解&#x…...

编程日记 2023/12/16 21:54:37

基于JavaWeb+SSM+Vue居住证申报系统小程序的设计和实现

基于JavaWebSSMVue居住证申报系统小程序的设计和实现 源码获取入口KaiTi 报告Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码获取入口 KaiTi 报告 1.1题目背景 随着时代的发展，人口流动越来越频繁&#xff0…...

编程日记 2023/12/16 21:49:32

环境安全之配置管理及配置安全设置指导

一、前言 IT运维过程中，配置的变更和管理是一件非常重要且必要的事，除了一般宏观层面的配置管理，还有应用配置参数的配置优化，本文手机整理常用应用组件配置项配置，尤其安全层面，以提供安全加固指导实践。…...

编程日记 2023/12/16 21:48:31

【C#】Microsoft C# 视频学习总结

一、文档链接 C# 文档 - 入门、教程、参考。| Microsoft Learn 二、基础学习 1、输出语法 Console.WriteLine() using System; namespace HelloWorldApplication {class HelloWorld{static void Main(string[] args){Console.WriteLine("Hello World!");}} }Hel…...

编程日记 2023/12/16 21:47:30

【已解决-实操篇】SaTokenException: 非Web上下文无法获取Request问题解决-实操篇

在上一篇《【理论篇】SaTokenException: 非Web上下文无法获取Request问题解决 -理论篇》中，凯哥(公众号：凯哥Java)介绍了了产生这个问题的源码在哪里，以及怎么解决的方案。没有给出实际操作步骤。 本文，凯哥就通过threadLocal方案…...

编程日记 2023/12/16 21:45:28

论文润色机构哪个好 快码论文

大家好，今天来聊聊论文润色机构哪个好，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题：论文润色机构哪个好――专业、高效、可靠的学术支持 一…...

编程日记 2023/12/16 21:44:27

Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor

如果执行以下命令失败，先把mvn的-q参数去掉，让错误输出到控制台。 《idea配置优化、Maven配置镜像、并行构建加速打包、解决maven打包时偶尔几个文件没权限的问题》下面的使用company-repo私有仓库和阿里云镜像仓库同时使用的配置参考。 bat echo off …...

编程日记 2023/12/16 21:40:23

NCNN 源码学习【三】：数据处理

一、Topic：数据处理 这次我们来一段NCNN应用代码中，除了推理外最重要的一部分代码，数据处理： ncnn::Mat in ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_v…...

编程日记 2023/12/16 21:38:21

RabbitMq基本使用

目录 SpringAMQP1.准备Demo工程2.快速入门1.1.消息发送1.2.消息接收1.3.测试 3.WorkQueues模型3.1.消息发送3.2.消息接收3.3.测试3.4.能者多劳3.5.总结 SpringAMQP 将来我们开发业务功能的时候，肯定不会在控制台收发消息，而是应该基于编程的方式。由于R…...

编程日记 2023/12/16 21:36:20

windows wsl2 ubuntu上部署 redroid云手机

Redroid WSL2部署文档 下载wsl内核源码 #文档注明 5.15和5.10 版本内核可以部署成功，这里我当前最新的发布版本 #下载wsl 源码 wget --progressbar:force --output-documentlinux-msft-wsl-5.15.133.1.tar.gz https://codeload.github.com/microsoft/WSL2-Linux-Ker…...

编程日记 2023/12/16 21:33:16

创维电视机 | 用当贝播放器解决创维电视机不能播放MKV视频的问题

小故事在下面，感兴趣可以看看，开头我就直接放解决方案 创维电视虽然是基于Android开发的，可以安装apk软件，但是基本不能用，一定要选择适配电视的视频播放器，或者使用本文中提供的创维版当贝播放器。 原软…...

编程日记 2023/12/16 21:32:15

【STM32】DMA直接存储器存取

1 DMA简介 DMA（Direct Memory Access）直接存储器存取 可以直接访问STM32的存储器的，包括运行SRAM、程序存储器Flash和寄存器等等 DMA可以提供外设寄存器和存储器或者存储器和存储器之间的高速数据传输，无须CPU干预，节…...

编程日记 2023/12/16 21:31:14

Vue3-09-条件渲染-v-show 的基本使用

v-show 的作用 v-show 可以根据条件表达式的值【展示】或【隐藏】html 元素。v-show 的特点 v-show 的实现方式是 控制 dom 元素的 css的 display的属性， 因此，无论该元素是否展示，该元素都会正常渲染在页面上， 当v-show 的 条件…...

编程日记 2023/12/16 21:30:13

ArrayList与LinkLIst

ArrayList 在Java中，ArrayList是java.util包中的一个类，它实现了List接口，是一个动态数组，可以根据需要自动增长或缩小。下面是ArrayList的一些基本特性以及其底层原理的简要讲解： ArrayList基本特性： 动…...

编程日记 2023/12/16 21:29:12

位运算（、|、^、~、＞＞、＜＜）

分类 编程技术 1.位运算概述 从现代计算机中所有的数据二进制的形式存储在设备中。即 0、1 两种状态，计算机对二进制数据进行的运算(、-、*、/)都是叫位运算，即将符号位共同参与运算的运算。 口说无凭，举一个简单的例子来看下 CPU 是如何进…...

编程日记 2023/12/16 21:19:04

Centos7部署SVN

文章目录 （1）SVN概述（2）SVN与Samba共享（3）安装SVN（4）SVN搭建实例（5）pc连接svn服务器（6）svn图标所代表含义 （1）…...

编程日记 2023/12/16 21:14:00

Vue中this.$nextTick的执行时机

一、Vue中this.$nextTick的执行时机，整体可分为两种情况： 第一种：下一次 Dom 更新之后执行（即等待DOM更新结束之后，执行nextTick的延迟回调函数）； 第二种：页面挂载后 （m…...

编程日记 2023/12/16 21:08:56

Unity中的ShaderToy

文章目录 前言一、ShaderToy网站二、ShaderToy基本框架1、我们可以在ShaderToy网站中，这样看用到的GLSL文档2、void mainImage 是我们的程序入口，类似于片断着色器3、fragColor作为输出变量，为屏幕每一像素的颜色，alpha一般赋值为…...

编程日记 2023/12/16 21:07:55

2 使用postman进行接口测试

上一篇：1 接口测试介绍-CSDN博客 拿到开发提供的接口文档后，结合需求文档开始做接口测试用例设计，下面用最常见也最简单的注册功能介绍整个流程。 说明：以演示接口测试流程为主，不对演示功能做详细的测试，…...

编程日记 2023/12/16 21:04:52

【数据库设计和SQL基础语法】--查询数据--聚合函数

一、聚合函数概述 1.1 定义 聚合函数是一类在数据库中用于对多个行进行计算并返回单个结果的函数。它们能够对数据进行汇总、统计和计算，常用于提取有关数据集的摘要信息。聚合函数在 SQL 查询中广泛应用，包括统计总数、平均值、最大值、最小值等。 1…...

编程日记 2023/12/16 21:02:50

Module ‘app‘: platform ‘android-33‘ not found.

目录 一、报错信息 二、解决方法 一、报错信息 Module app: platform android-33 not found. 检查你的应用程序的build.gradle文件中的targetSdkVersion和compileSdkVersion是否正确设置为已安装的Android SDK版本。 确保你的Android Studio已正确安装并配置了所需的Android …...

编程日记 2023/12/16 21:00:49

MySQL按序批量操作大量数据

MySQL按序批量操作大量数据（Java、springboot、mybatisplus、ElasticSearch） 以同步全量MySQL数据到ElasticSearch为例。 核心代码 业务逻辑： public boolean syncToElasticsearch() {log.info("Starting data synchronization to El…...

编程日记 2023/12/16 20:57:47

strict-origin-when-cross-origin

严格限制同源策略 （1）允许服务器的同源IP地址访问 （2）允许Referer --- 后端服务器要配置...

编程日记 2023/12/16 20:53:44

【置顶】 本博博文汇总

文章目录 前言音视频ijkplayer源码分析FFmpeg、音视频协议Andriod系统音视频框架C、C Android&Java源码分析、绘制、渲染Dalvik、Art虚拟机Java并发 计算机基础操作系统计算机网络设计模式、数据结构、算法 前言 23年底了，想来也工作十年，也一直在c…...

编程日记 2023/12/16 20:52:43

react.js源码二

三、调度Scheduler scheduling(调度)是fiber reconciliation的一个过程，主要决定应该在何时做什么?在stack reconciler中，reconciliation是“一气呵成”，对于函数来说，这没什么问题，因为我们只想要函数的运行结果，但对于UI来说还需要考虑以下问题： 并不是所有的state更…...

编程日记 2023/12/16 20:48:39

如何学习英语

前言 首先写一些自己的感言吧，其实从大学的时候就在不断地听英语，学英语，但是到毕业十几年后，英语一直没起到什么作用，当然最有作用的时候就是几次英语面试吧。 工作之后有一段学习英语的经历，当时花费了…...

编程日记 2023/12/16 20:44:36

昆明hph网站建设/谷歌搜索引擎为什么国内用不了

CUDA的学习 前面几天写了三维重建中的特征提取部分，下面接着写，不过今天写一下CUDA的内容，这个下面要用到，要学习，首先装环境，装了CUDA5.0，网上有一个windows7CUDA5.0的教程，挺好&am…...

编程日记 2025/1/16 16:49:33

创个网站怎么弄/汕头网页搜索排名提升

有时候字符串需要做一些左，中，右对齐操作，比如商场打印的发票的，收费项都是左对齐，金额右对齐，抬头中央对齐，在Python的有对应的三个函数ljust(), center(), rjust() 分别对应左、中、右操作! 有…...

编程日记 2025/1/16 16:11:19

君和网站建设/优化加速

转载于:https://www.cnblogs.com/fycn01/p/5852304.html...

编程日记 2025/1/16 12:08:44

公司宣传片制作多少钱/seo专业培训班

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一.W25Q32-Flash1.官方说明2.引脚排列3.特殊引脚说明1.串行数输入输出和IOS (DI DO和IO0, IO1,IO2,IO3)2.写保护（/WP）3.保持端&#xff0…...

编程日记 2025/1/16 7:59:53

简约风格网站设计/广州网站运营专业乐云seo

question: 开平方用 sqrt(), 开三次方用什么啊&#xff1f; answer: 开立方也就是求 1/3 次方, 所以可以用pow()函数 example: #include <stdio.h> #include <math.h>int main() {double a pow(8, 1.0 / 3);printf("%f\n", a);return 0; }程序运行结…...

编程日记 2025/1/16 6:07:29

外贸哪些免费网站开发客户/注册公司网上申请入口

background-image 属性是 CSS 的一个用于为元素设置背景图片的属性。语法如下&#xff1a; background-image: url(image.jpg);其中 url(image.jpg) 就是指定图片的地址。可以使用相对路径或绝对路径&#xff0c;也可以使用其他图片引用方式&#xff0c;如 data URI。 使用 bac…...

编程日记 2025/1/16 3:28:39