当前位置： 首页 > news >正文

Hudi extraMetadata 研究总结

news 文章来源：https://blog.csdn.net/dkl12/article/details/139662489 2024/12/1 0:40:53

前言

研究总结 Hudi extraMetadata ,记录研究过程。主要目的是通过 extraMetadata 保存 source 表的 commitTime （checkpoint）， 来实现增量读Hudi表写Hudi表时，保存增量读状态的事务性，实现类似于流任务中的 exactly-once

背景需求

有个需求：增量读Hudi表关联其他Hudi表然后做一些复杂的业务处理逻辑,然后将结果表保存到目标Hudi表中

然后就有问题：如何保证保存目标Hudi表和保存 endCommiTime 是事务的。具体如下
1、Spark支持增量读Hudi表，需要传入起（始） commitTime。
2、上一批数据处理完成后应该保存上次增量读的的 endCommiTime,作为下一批增量读的的 beginCommitTime
3、可以选择将上一批的 endCommiTime 保存到 HDFS 或者数据库表中，但是不能保证事务。（并且还需要借助外部表或者存储目录，如果能通过Hudi本身解决，就比较完美了）
4、也就是可能存在保存目标Hudi表成功，但是保存 endCommiTime 失败的情况

这时就想到了 DeltaStreamer 中是通过设置 checkpoint 来实现的，具体是通过将 commitTime 的值保存到目标表 .commit 元数据文件中(extraMetadata->deltastreamer.checkpoi

相关文章：

Hudi extraMetadata 研究总结

前言 研究总结 Hudi extraMetadata ,记录研究过程。主要目的是通过 extraMetadata 保存 source 表的 commitTime （checkpoint）， 来实现增量读Hudi表写Hudi表时，保存增量读状态的事务性，实现类似于流任务中的 exactly-once 背景需求 有个需求：增量读Hudi表关联其他Hudi…...

编程日记 2024/6/14 1:33:29

Vue31-自定义指令：总结

一、自定义函数的陷阱 1-1、自定义函数名 自定义函数名，不能用驼峰式！！！ 示例1： 示例2： 1-2、指令回调函数的this 【回顾】： 所有由vue管理的函数，里面的this直接就是vm实例对象。…...

编程日记 2024/6/14 1:32:28

Windows环境如何使用Flutter Version Manager (fvm)

Windows环境如何使用Flutter Version Manager (fvm) Flutter Version Manager (fvm) 是一个用于管理多个 Flutter SDK 版本的命令行工具，它允许开发者在不同项目之间轻松切换 Flutter 版本。这对于需要维护多个使用不同 Flutter 版本的项目的开发人员来说非常有用。…...

编程日记 2024/6/14 1:29:25

优化Elasticsearch搜索性能：查询调优与索引设计

在构建基于 Elasticsearch 的搜索解决方案时，性能优化是关键。本文将深入探讨如何通过查询调优和索引设计来优化 Elasticsearch 的搜索性能，从而提高用户体验和系统效率。 查询调优 优化查询是提高 Elasticsearch 性能的重要方法。以下是一些有效的查询…...

编程日记 2024/6/14 1:24:19

STM32-17-DAC

STM32-01-认识单片机 STM32-02-基础知识 STM32-03-HAL库 STM32-04-时钟树 STM32-05-SYSTEM文件夹 STM32-06-GPIO STM32-07-外部中断 STM32-08-串口 STM32-09-IWDG和WWDG STM32-10-定时器 STM32-11-电容触摸按键 STM32-12-OLED模块 STM32-13-MPU STM32-14-FSMC_LCD STM32-15-DMA…...

编程日记 2024/6/14 1:23:18

一杯咖啡的艺术 | 如何利用数字孪生技术做出完美的意式浓缩咖啡？

若您对数据分析以及人工智能感兴趣，欢迎与我们一起站在全球视野关注人工智能的发展，与Forrester 、德勤、麦肯锡等全球知名企业共探AI如何加速制造进程， 共同参与6月20日由Altair主办的面向工程师的全球线上人工智能会议“AI for Engineers”…...

编程日记 2024/6/14 1:22:17

使用QT制作QQ登录界面

mywidget.cpp #include "mywidget.h"Mywidget::Mywidget(QWidget *parent): QWidget(parent) {/********制作一个QQ登录界面*********************/this->resize(535,415);//设置登录窗口大小this->setFixedSize(535,415);//固定窗口大小this->setWindowTi…...

编程日记 2024/6/14 1:21:15

代码随想录训练营第七天 344反转字符串 541反转字符串II 替换数字

第一题： 原题链接：344. 反转字符串 - 力扣（LeetCode） 思路： 双指针，一根指向字符串的头部，一根指向字符串的尾部。两个指针向中间移动，交换两根指针指向的值。 代码如下&#xf…...

编程日记 2024/6/14 1:20:14

【Python】数据处理：SQLite操作

使用 Python 与 SQLite 进行交互非常方便。SQLite 是一个轻量级的关系数据库，Python 标准库中包含一个名为 sqlite3 的模块，可以直接使用。 import sqlite3数据库连接和管理 连接到 SQLite 数据库。如果数据库文件不存在，则创建一个新数据库…...

编程日记 2024/6/14 1:19:13

NXP RT1060学习总结 - fsl_flexcan 基础CAN函数说明 -3

概要 CAN测试源码： https://download.csdn.net/download/qq_35671135/89425377 根据fsl_flexcan.h文件从文件末尾往前面梳理，总共30个基础CAN函数； 该文章只梳理常规CAN，增强型CAN后面再单独梳理。 使用的是RT1064开发板进行测试…...

编程日记 2024/6/14 1:18:11

2024年第三届数据统计与分析竞赛（B题）数学建模完整思路+完整代码全解全析

你是否在寻找数学建模比赛的突破点？数学建模进阶思路！ 详细请查 作为经验丰富的数学建模团队，我们将为你带来2024年第三届数据统计与分析竞赛（B题）的全面解析。这个解决方案包不仅包括完整的代码实现，还有…...

编程日记 2024/6/14 1:17:10

高通Android 12 右边导航栏改成底部显示

最近同事说需要修改右边导航栏到底部，问怎么搞？然后看下源码尝试下。 1、Android 12修改代码路径 frameworks/base/services/core/java/com/android/server/wm/DisplayPolicy.java a/frameworks/base/services/core/java/com/android/server/wm/Display…...

编程日记 2024/6/14 1:15:08

2.6数据报与虚电路

数据报 当作为通信子网用户的端系统要发送一个报文时，在端系统中实现的高层协议先把报文拆成若干个带有序号的数据单元，并在网络层加上地址等控制信息后形成数据报分组(即网络层PDU)中间结点存储分组一段很短的时间，找到最佳的路由后&#x…...

编程日记 2024/6/14 1:14:07

小主机折腾记26

双独立显卡调用问题 前两天将tesla p4从x99大板上拆了下来，将880G5twr上的rx480 4g安装到了x99大板上，预计是dg1输出，rx480做3d运算。安装完驱动后，还想着按照之前tesla p4的设置方法去设置rx480，结果果然&#xff0c…...

编程日记 2024/6/14 1:12:04

ArrayList浅析

目录 一、ArrayList源码1.1 迭代器1.1.1 Itr源码浅析1.1.2 ListItr源码浅析 1.2 常用方法1.3 System.arraycopy1.4 ArrayList 的创建方式 二、引申问题2.1 ArrayList的大小是如何增加的？2.2 什么情况下你会使用ArrayList2.3 在索引中ArrayList的增加或者删除某个对象…...

编程日记 2024/6/14 1:11:03

Spring Boot整合hibernate-validator实现数据校验

文章目录 概念基本概念常用校验注解 前置内容整合Hibernate Validator快速入门优雅处理参数校验异常其余注解校验自定义校验注解 参考来源 概念 基本概念 Hibernate Validator 是一个参数校验框架，可以非常方便地帮助我们校验应用程序的入参，实现了参数…...

编程日记 2024/6/14 1:10:01

Ubuntu系统中网易云音乐编译安装

项目地址： netease-cloud-music-gtk: Linux 平台下基于 Rust GTK 开发的网易云音乐播放器 目录 1.README.md中按照步骤来 2.安装git 3.报错 sudo apt install cmake sudo apt-get install libdbus-1-dev sudo apt install dnf sudo dnf install gettext 继…...

编程日记 2024/6/14 1:09:00

MPLS标签号

标签被压入在2层与3层之间 称为 2.5层 标签的格式----32 位4 个字节 前 20 位为标签号，2~20 个标签号；其中1-15号保留，作为特殊编号； 第 21-23位 exp，3位8个数，为优先级，用于Q0S 策略使用&a…...

编程日记 2024/6/14 1:06:57

OpenHarmony napi 编译 .so 并打包成 .har

一、前言 最近在搞公司标准产品适配OpenHarmony 平台， 按照行业上的常用方法，在Android 是将底层代码用c 封装成 xxx.so ，然后将其他一部分打包成 xxx.jar。 因此，在OpenHarmony 平台也是打算按照这个模式。正所谓，好…...

编程日记 2024/6/14 1:03:54

python 循环导入(circular imports)解决方法

在 Python 中，大部分人都应该都遇到过循环导入的问题。 循环导入是指两个文件各自尝试导入另一个文件（模块），当一个模块没有完全初始化时会导致失败。解决这种情况的最好方法是将代码分层组织，这样导入的关系就会自然…...

编程日记 2024/6/14 1:02:52

01、Linux网络设置

目录 1.1 查看及测试网络 1.1.1 查看网络配置 1、查看网络接口地址 2、查看主机状态 3、查看路由表条目 4、查看网络连接qing 1.1.2 测试网络连接 1.测试网络连接 2.跟踪数据包的路由路径 3.测试DNS域名解析 1.2 设置网络地址参数 1.2.1 使用网络配置命令 1.修改网卡…...

编程日记 2024/6/14 0:59:50

ssm160基于Java技术的会员制度管理的商品营销系统的设计与实现+vue

商品营销系统计与实现 摘 要 现代经济快节奏发展以及不断完善升级的信息化技术，让传统数据信息的管理升级为软件存储，归纳，集中处理数据信息的管理方式。本商品营销系统就是在这样的大环境下诞生，其可以帮助管理者在短时间内处理…...

编程日记 2024/6/14 0:58:49

边缘计算网关在智慧厕所远程监测与管理的应用

随着智慧城市建设的不断深入，城市公共设施的智慧化管理成为了提升城市品质和居民生活质量的关键建设。公厕作为城市基础设施的重要组成部分，其管理效率和卫生状况直接影响着市民的日常生活体验。在公厕设施建设背景下，边缘计算网关技术的应用…...

编程日记 2024/6/14 0:57:47

嵌入式linux中设备树使用of函数操作基本方法

各位开发者大家好，今天主要给大家分享一下，如何使用of操作函数，获取对应设备树节点先关的属性信息。 第一：of_find_property函数 of_find_property 函数用于在设备树中查找节点下具有指定名称的属性。如果找到了该属性，可以通过返回的属性结构体指针进行进一步的操作，比…...

编程日记 2024/6/14 0:56:46

10.GLM

智谱AI GLM 大模型家族 最强基座模型 GLM-130B GLM (General Language Model Pretraining with Autoregressive Blank Infilling) 基于自回归空白填充的通用语言模型（GLM）。GLM通过增加二维位置编码并允许以任意顺序预测跨度来改进空白填充预训练&…...

编程日记 2024/6/14 0:54:44

【深度学习】Transformer分类器，CICIDS2017，入侵检测，随机森林、RFE、全连接神经网络

文章目录 1 前言2 随机森林训练3 递归特征消除 RFE Recursive feature elimination4 DNN5 Transformer5.1. 输入嵌入层（Input Embedding Layer）5.2. 位置编码层（Positional Encoding Layer）5.3. Transformer编码器层（T…...

编程日记 2024/6/14 0:53:38

pdf压缩到指定大小的简单方法

压缩PDF文件是许多人在日常工作和学习中经常需要面对的问题。PDF文件因其跨平台、易阅读的特性而广受欢迎，但有时候文件体积过大，会给传输和存储带来不便。因此，学会如何有效地压缩PDF文件，就显得尤为重要。本文将详细介绍几种常见…...

编程日记 2024/6/14 0:52:36

关于FPGA对 DDR4 （MT40A256M16）的读写控制 I

关于FPGA对 DDR4 （MT40A256M16）的读写控制 I 语言 ：Verilg HDL EDA工具：ISE、Vivado 关于FPGA对 DDR4 （MT40A256M16）的读写控制 I一、引言二、DDR4的特性（MT40A256M16）（1…...

编程日记 2024/6/14 0:51:35

JavaWeb_SpringBootWeb案例

环境搭建： 开发规范 接口风格-Restful： 统一响应结果-Result： 开发流程： 第一步应该根据需求定义表结构和定义接口文档 注意： 本文代码从上往下一直添加功能，后面的模块下的代码包括前面的模块&#xff0c…...

编程日记 2024/6/14 0:49:32

Linux中FTP安装

文章目录 一、FTP介绍1.1、FTP是什么1.2、FTP的工作原理1.3、FTP的传输模式1.4、FTP用户类别1.5、FTP的优点与缺点1.6、FTP数据传输格式 二、FTP客户端与服务端2.1、服务端2.2、客户端 三、FTP服务器软件介绍3.1、WU-FTPD3.2、ProFtpD3.3、vsftpd3.4、Pure-FTP3.5、FileZilla S…...

编程日记 2024/6/14 0:48:31

wordpress大流量/电商网站

共回答了22个问题采纳率：77.3%是.之,出也.象艸过屮,枝茎益大有所之,一者,地也.——《说文》独体字表：A凹B卜、不、本、白、卞、丙、必、半、八、币、秉、巴、匕、办C成、厂、尺、才、寸、出、亍、产、叉、虫、串、丑、斥、蚩、川、匆、车、长、乘、重、垂…...

编程日记 2024/11/30 17:42:55

安徽免费网站制作/企业推广策划方案

装饰器作用 decorator是当今最流行的设计模式之一，很多使用它的人并不知道它是一种设计模式。这种模式有什么特别之处? 有兴趣可以看看Python Wiki上例子，使用它可以很方便地修改对象行为，通过使用类似例中的接口将修改动作封装在装饰对象中…...

编程日记 2024/11/30 16:30:20

青岛网站设计报价/网站长尾关键词排名软件

概述DelayQueue 也是一种队列&#xff0c;它内部的元素有“延迟”&#xff0c;也就是当从队列中获取元素时&#xff0c;如果它的延迟时间未到&#xff0c;则无法取出。DelayQueue 的类签名和继承结构如下&#xff1a;public class DelayQueue<E extends Delayed> extends…...

编程日记 2024/11/30 15:24:35

用jsp做的购物网站/百度广告推广怎么做

Day025模块 导入模块 : import 模块名 1. 检查是否导入过模块,检查顺序 内存->内置->sys.path 2. 如果没有导入过这个模块则先创建一个名称空间 3. 然后将导入的模块执行一遍,在把执行的结果放在刚才的空间中 4. 把模块的名字命名这个空间 1.所有被导入的模块都会放…...

编程日记 2024/11/30 14:58:22

广告行业网站建设方案/seo的搜索排名影响因素有

大卫吉尔伯特(资料图) 图片来源&#xff1a;Osports全体育图片社 中新网1月23日电 斯诺克第147杆147分终于诞生&#xff01;北京时间23日上午&#xff0c;斯诺克冠军联赛第五小组进行的一场比赛中&#xff0c;大卫•吉尔伯特在与斯蒂芬•马奎尔的第二局中打出147分&#xff0c;…...

编程日记 2024/11/30 13:43:44

乌鲁木齐做网站有哪些公司/营销渠道策略

1.安装软件环境安装以下软件&#xff0c;并安装GeoServer imagemosaic拓展插件&#xff0c;用来连接并加载PostGIS数据库中的栅格数据。PostGIS 2.4&#xff0c;PostgreSQL 9.6&#xff0c;GeoServer 2.12&#xff0c;geoserver-2.12-SNAPSHOT-imagemosaic-jdbc-plugin2.导入栅…...

编程日记 2024/11/30 8:01:15