当前位置： 首页 > news >正文

hudi系列-小文件优化

news 2026/2/9 2:35:05

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。hudi自身提供了各种方法对表中产生的小文件进行了优化，总结下来无非是几种方式：

  1. 合并现有小文件
  2. 删除无用小文件
  3. 对于支持append的文件系统，直接往小文件追加数据，如hdfs

元数据文件优化

hudi使用元数据文件来管理和维护表的元数据信息，包括表的结构、分区信息、数据文件的位置和版本等。.hoodie是元数据根目录，直接目录下在存储着活跃时间线下所有的元数据，一般不会被删除，通过配置来控制活跃时间线的跨度，进而限制了元数据文件数量的无限增长。如果活跃时间线跨度过长，在timeline上的一些操作将变得更低效，对读、写和其它表服务都影响很大(hudi通过timeline server和MDT可以对此进行优化)。

较久前的元数据文件会定时被归档形成归档时间线，保存在archived目录中，随着归档文件不断增加，归档后的文件会自动rollover或合并，这取决于文件系统是否支持append.

数据文件优化

hdfs的思想是一次写入多次读取，不支持对已经存储在文件系统中的数据进行直接修改。hudi不公支持数据修改，还增加了流式处理的场景，流写数据不像批处理那么容易控制单文件大小&

相关文章：

hudi系列-小文件优化

hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中…...

编程日记 2023/6/9 2:20:10

mysql 是否包含 返回索引 截取字符串

是否包含返回索引 原文链接：https://www.cnblogs.com/shoshana-kong/p/16474175.html 方法1：使用通配符%。 通配符也就是模糊匹配，可以分为前导模糊查询、后导模糊查询和全导匹配查询，适用于查询某个字符串中是否包含另一个模糊…...

编程日记 2023/6/9 2:15:09

【LeetCode】74. 搜索二维矩阵

74. 搜索二维矩阵（中等） 方法一：二分查找 思路 总体思路 由于二维矩阵固定列的「从上到下」或者固定行的「从左到右」都是升序的 因此我们可以使用两次二分来定位到目标位置。 第一次二分： 从第 0 列中的「所有行」开始找&#x…...

编程日记 2023/6/9 2:10:07

Nginx rewrite

一.location 大致可以分为三类： 精准匹配：location / {…}一般匹配：location / {…}正则匹配：location ~ / {…} 1.location 常用的匹配规则： ：进行普通字符精确匹配，也就是完全匹配。^~ &am…...

编程日记 2023/6/9 2:05:06

【数据分享】1929-2022年全球站点的逐日降水量（Shp\Excel\12000个站点）

气象数据是在各项研究中都经常使用的数据，气象指标包括气温、风速、降水、湿度等指标，说到常用的降水数据，最详细的降水数据是具体到气象监测站点的降水数据！ 有关气象指标的监测站点数据，之前我们分享过1929-2022年全…...

编程日记 2023/6/9 2:00:05

【论文阅读】（2013）Exact algorithms for the bin packing problem with fragile objects

文章目录 一、摘要二、介绍三、之前在这个问题上的工作四、易碎物品背包问题的求解4.1 ILP模型4.2 基于KP01的方法4.3 动态规划 五、二元分支方案5.1 分支方案1（基于决策变量的分支）5.2 分支方案2（基于yj和xji的分支）5.3 将L2嵌入…...

编程日记 2023/6/9 1:55:04

K8S YAML 部署XXLJOB 集群

apiVersion: apps/v1 kind: Deployment metadata: labels: app: xxl-job-admin name: xxl-job-admin namespace: ccetest #根据情况修改namespace spec: replicas: 3 #根据情况修改副本数 selector: matchLabels: app: xxl-job-admin strat…...

编程日记 2023/6/9 1:50:04

Linux防火墙学习笔记3

iptables链的概念： 当客户端访问服务器端的Web服务的时候，客户端发送请求报文到网卡，而TCP/IP协议栈是属于内核的一部分。客户端的请求报文会通过内核的TCP协议传输到用户空间的Web服务，而客户端报文的目的地址为Web服务器所监听的…...

编程日记 2023/6/9 1:45:03

数仓用户行为数据分析

分层优点：复杂的东西可以简单化、解耦（屏蔽层作用）、提高复用、方便管理 SA 贴源 数据组织结构与源系统保持一致 shm 历史层 针对不同特征的数据做不同算法，目的都是为了得到一份完整的数据 PDM 明细层 做最细粒度的数据明细…...

编程日记 2023/6/9 1:40:02

RK3288 Android5.1添加WiFiBT模块AP6212

CPU：RK3288 系统：Android 5.1 注：RK3288系统，目前 Android 5.0 Kernel 3.10 SDK 支持 Braodcom,Realtek 等 WiFi BT 模块 各个 WiFi BT 模块已经做到动态兼容，Android 上层不再需要像以前一样进 行特定宏的配置 此…...

编程日记 2023/6/9 1:35:01

使用 YApi 管理 API 文档，测试， mock

随着互联网的发展，API变的至关重要。根据统计，目前市面上有上千万的开发者，互联网项目超过10亿，保守统计涉及的 API 数量大约有 100 亿。这么大基数的API，只要解决某些共有的痛点，将会是非常有意义的事情。…...

编程日记 2023/6/9 1:30:00

chatgpt生成【2023高考作文】北京卷二 - 亮相

舞台上，戏曲演员有登场亮相的瞬间。生活中也有许多亮相时刻：国旗下的讲话，研学成果的汇报，新产品的发布……每一次亮相，都受到众人关注；每一次亮相，也会有一段故事。 请以“亮相”为题目&#x…...

编程日记 2023/6/9 1:24:59

实验四、shell编程

一、实验目的 1.了解shell的特点和主要种类。 2.掌握 shel1 脚本的建立和执行方式。 3.掌握bash的基本语法。 4.学会编写shell 脚本。 二、实验内容 shell 脚本的建立和执行。历史命令和别名定义。shell变量和位置参数、环境变量。bash的特殊字符。一般控制结构。算术运算及…...

编程日记 2023/6/9 1:19:58

【代码随想录】刷题Day51

1.最佳买卖股票时机含冷冻期 309. 最佳买卖股票时机含冷冻期 1.dp数组的含义：dp[i][0]为第i天卖出股票的最大价值；dp[i][1]为第i天持有股票的最大价值 2.dp数组的条件：由于有冷冻期，所以dp数组的条件就变了。第i天卖出股票的最大…...

编程日记 2023/6/9 1:14:57

centos7下svnserve方式部署subversion/SVN服务端(实操)

一般来说，subversion服务器可以用两种方式架设： 一种是基于svnserve，svnserve作为服务端； 一种是基于Apache，用apache作为服务端。 这里采用第一种方式部署。 执行如下命令，安装SVN。 yum install sub…...

编程日记 2023/6/9 1:09:56

一款红队批量脆弱点搜集工具

功能 指纹识别:调用“三米前有香蕉皮“前辈工具，他的工具比finger好用 寻找资产中404，403，以及网页中存在的其他薄弱点，以及需要特定路径访问的资产 后续会把nuclei加进来 目前只有windows可以用 使用 第一次使用脚本请运行p…...

编程日记 2023/6/9 1:04:55

Docker 基本管理

一、Docker 概述 Docker是一个开源的应用容器引擎，基于go语言开发并遵守了apache2.0协议开源。 Docker是在Linux容器里运行应用的开源工具，是一种轻量级的“虚拟机”。 Docker的容器技术可以在一台主机上轻松为任何应用创建一个轻量级的、可移植的、自…...

编程日记 2023/6/9 0:59:54

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区

Debezium系列之：把多张表的数据分发到同一个Kafka Topic，同一张表的数据始终进入Topic相同分区 一、需求背景二、实现思路三、核心参数和参数详解四、创建相关表五、提交Debezium Connector六、插入数据七、消费Kafka Topic八、总结和延展一、需求背景 debezium采集数据库的多…...

编程日记 2023/6/9 0:54:53

雪崩 - 如何重试 - sla和重试风暴的双保证

父文章 异常导致级联雪崩的例子 - 不应该有立即重试._个人渣记录仅为自己搜索用的博客-CSDN博客 一个系统处于稳态临界点 如果立即重试3次, 会导致流量瞬间增大, 哪怕后来系统10s内自愈了, 这个时候, 流量本质上增加了3倍. 如果rpc框架不是fastFail ( 超过 调用方失败timeout上…...

编程日记 2023/6/9 0:49:52

[网鼎杯 2018]Fakebook1

拿到题目后是一个博客的界面，这里可以登录和注册 点入登录界面，猜测可能是sql注入 试了很多次，都不是，也没有回显报错，所以把目光放到了注册上面 注册的其他行数据，差不多都可以乱填，只有一个bl…...

编程日记 2023/6/9 0:44:50

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用，操作系统：Ubuntu24.04，Neofj版本：2025.04.0。 Apt安装 Neofj可以进行官网安装：Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2026/2/8 4:37:08

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/12/3 20:14:32

docker详细操作--未完待续

docker介绍 docker官网: Docker：加速容器应用程序开发 harbor官网：Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台，用于将应用程序及其依赖项（如库、运行时环…...

编程新知 2026/2/5 4:33:24

利用ngx_stream_return_module构建简易 TCP/UDP 响应网关

一、模块概述 ngx_stream_return_module 提供了一个极简的指令&#xff1a; return <value>;在收到客户端连接后&#xff0c;立即将 <value> 写回并关闭连接。<value> 支持内嵌文本和内置变量&#xff08;如 $time_iso8601、$remote_addr 等&#xff09;&a…...

编程新知 2025/9/21 0:49:02

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2026/2/5 4:28:28

【网络安全产品大调研系列】2. 体验漏洞扫描

前言 2023 年漏洞扫描服务市场规模预计为 3.06&#xff08;十亿美元&#xff09;。漏洞扫描服务市场行业预计将从 2024 年的 3.48&#xff08;十亿美元&#xff09;增长到 2032 年的 9.54&#xff08;十亿美元&#xff09;。预测期内漏洞扫描服务市场 CAGR&#xff08;增长率&…...

编程新知 2026/2/4 12:43:08

【CSS position 属性】static、relative、fixed、absolute 、sticky详细介绍，多层嵌套定位示例

文章目录 ★ position 的五种类型及基本用法 ★ 一、position 属性概述 二、position 的五种类型详解（初学者版） 1. static（默认值） 2. relative（相对定位） 3. absolute（绝对定位） 4. fixed（固定定位） 5. sticky（粘性定位） 三、定位元素的层级关系（z-i…...

编程新知 2026/2/9 1:38:05

rnn判断string中第一次出现a的下标

# coding:utf8 import torch import torch.nn as nn import numpy as np import random import json""" 基于pytorch的网络编写 实现一个RNN网络完成多分类任务 判断字符 a 第一次出现在字符串中的位置 """class TorchModel(nn.Module):def __in…...

编程新知 2025/9/24 16:25:00

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2026/1/24 4:10:44

无人机侦测与反制技术的进展与应用

国家电网无人机侦测与反制技术的进展与应用 引言 随着无人机&#xff08;无人驾驶飞行器&#xff0c;UAV&#xff09;技术的快速发展&#xff0c;其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统&#xff0c;无人机的“黑飞”&…...

编程新知 2026/1/26 6:01:03