当前位置： 首页 > news >正文

【大数据架构】基于流式数据的大数据架构升级

news 文章来源：https://blog.csdn.net/w8998036/article/details/139539445 2024/11/20 9:37:18

背景

团队在升级大数据架构，摒弃了原来基于hadoop的架构，因此抛弃了hive，hdfs，mapreduce这一套，在讨论和摸索中使用了新的架构。

后端使用kafka流式数据通过rest catalog写入iceberg，存储于minio。在写入iceberg的时候，首先是写data数据文件，然后再写iceberg的metadata文件，分两步走，在kafka中有两个topic，一个负责些data数据文件，一个负责些iceberg的metadata文件。

当然这样会产生大量的小文件，那么我们还有一个程序使用网易的amro来监控数据库表的data目录，设置好参数实时的去合并这些小文件，总体效果不错。

前端使用trino查询，对trino也进行了很多优化，目前测试来看，运行还算稳定，但是不可避免的trino的任务总会出现失败的情况。原来的架构是trino失败后去跑hive，而hive是跑mapreduce依赖于hadoop，新架构摒弃了hadoop，当然也没法用hive跑了，因此目前看较好的办法是使用spark sql来替代。

参考我另一边文章

【kyuubi-spark】从0-

相关文章：

【大数据架构】基于流式数据的大数据架构升级

背景 团队在升级大数据架构，摒弃了原来基于hadoop的架构，因此抛弃了hive，hdfs，mapreduce这一套，在讨论和摸索中使用了新的架构。 后端使用kafka流式数据通过rest catalog写入iceberg，存储于minio。在写入iceberg的时候，首先是写data数据文件，然后再写iceberg的metada…...

编程日记 2024/6/8 14:19:47

OpenCV中的圆形标靶检测——斑点检测算法（二）

前面的章节中我们已经大致介绍了算法流程，也对一些算法中用到的相关概念做了简要介绍，同时给出了算法调用的API，现在我们开始算法检测接口实现源码的分析。 1. 斑点的分组与加权 这里我们选择后者，先了解算法的处理流程，再分析各个模块的实现。算法流程图如下图所示，上一…...

编程日记 2024/6/8 14:18:46

网线制作(双绞线+水晶头)——T568B标准

参考视频：https://www.bilibili.com/video/BV1KQ4y1i7zP/ 1、使用剥线器 2、将线捋顺、排序、剪掉牵引线 记忆技巧 1.线序颜色整体是一浅一深 2.颜色顺序是黄、蓝、绿、棕 一个黄种人、从上向下看，分别看到的是蓝天、青草(绿)、泥土(棕色) 3.中间两根浅…...

编程日记 2024/6/8 14:17:45

湖南源点（市场研究咨询）如何产出更加有意义的竞品调研

湖南源点咨询认为：当前，任何项目都不能盲目开始，前期的准备工作必不可少。在基础架构搭建的同时，设计上对于前端功能、用户体验的调研就优先开始了。在这个阶段，大部分设计师都会分配很多调研任务，疯狂对竞…...

编程日记 2024/6/8 14:16:44

Qt/C++音视频开发76-获取本地有哪些摄像头名称/ffmpeg内置函数方式

一、前言 上一篇文章是写的用Qt的内置函数方式获取本地摄像头名称集合，但是有几个缺点，比如要求Qt5，或者至少要求安装了多媒体组件multimedia，如果没有安装呢，或者安装的是个空的呢，比如很多嵌入式板子&am…...

编程日记 2024/6/8 14:15:43

09 platfrom 设备驱动

platform 设备驱动，也叫做平台设备驱动。请各位重点学习！ 1、驱动的分离与分层 1）驱动的分隔与分离 Linux 操作系统，代码的重用性非常重要。驱动程序占用了 Linux 内核代码量的大头，如果不对驱动程序加以管理，用不了多久 Linux 内核的文件数量就庞大到无法接受的地步。…...

编程日记 2024/6/8 14:14:42

【C#】C#读写Excel文件

1.工具库选择 使用EPPlus读取Excel文件，在visual studio2022中安装最新NuGet。 2.读文件测试 using OfficeOpenXml; using OfficeOpenXml.Packaging.Ionic.Zip; using OfficeOpenXml.Style; using System; using System.Collections.Generic; using System.IO; u…...

编程日记 2024/6/8 14:12:40

数据流图（DFD）绘制规范

软件数据流图（Data Flow Diagram，DFD）是一种重要的工具，用于表示系统中数据的流动和处理。DFD帮助开发团队和利益相关者理解系统的功能和数据处理过程。绘制DFD时应遵循一定的规范和步骤，以确保图表的清晰性和一致性。…...

编程日记 2024/6/8 14:08:36

有待挖掘的金矿：大模型的幻觉之境

人工智能正在迅速变得无处不在，在科学和学术研究中，自回归的大型语言模型（LLM）走在了前列。自从LLM的概念被整合到自然语言处理（NLP）的讨论中以来，LLM中的幻觉现象一直被广泛视为一个显著的社会…...

编程日记 2024/6/8 14:05:34

常见八大排序(纯C语言版)

目录 基本排序 一.冒泡排序 二.选择排序 三.插入排序 进阶排序（递归实现） 一.快排hoare排序 1.单趟排序 快排步凑 快排的优化 （1）三数取中 （2）小区间优化 二.前后指针法(递归实现) 三.快排的非…...

编程日记 2024/6/8 14:03:32

vue2学习(06)----vuex

目录 一、vuex概述 1.定义 优势： 2.构建环境步骤 3.state状态 4.使用数据 4.1通过store直接访问 4.2通过辅助函数 5.mutations修改数据（同步操作） 5.1定义 5.2步骤 5.2.1定义mutations对象，对象中存放修改state数据的方…...

编程日记 2024/6/8 14:02:29

webflux 拦截器验证token

在WebFlux中，我们可以使用拦截器（Interceptor）来验证Token。以下是一个简单的示例： 1. 首先，创建一个名为TokenInterceptor的类，实现HandlerInterceptor接口： java import org.springframewor…...

编程日记 2024/6/8 14:01:28

C++中的继承方式

目录 摘要 1. 公有继承（Public Inheritance） 2. 保护继承（Protected Inheritance） 3. 私有继承（Private Inheritance） 4. 多重继承（Multiple Inheritance） 继承列表的项数 摘要…...

编程日记 2024/6/8 14:00:27

Vue进阶之Vue无代码可视化项目（四）

Vue无代码可视化项目 左侧栏第一步LeftPanel.vueLayoutView.vuebase.css第二步LayoutView.vueLeftPanel.vue编排引擎smooth-dnd安装创建文件SmoothDndContainer.tsutils.tsSmoothDndDraggable.tsLeftPanel.vue左侧栏 第一步 创建LeftPanel LeftPanel.vue <script setup…...

编程日记 2024/6/8 13:59:26

day40--Redis（二）实战篇

实战篇Redis 开篇导读 亲爱的小伙伴们大家好&#xff0c;马上咱们就开始实战篇的内容了&#xff0c;相信通过本章的学习&#xff0c;小伙伴们就能理解各种redis的使用啦&#xff0c;接下来咱们来一起看看实战篇我们要学习一些什么样的内容 短信登录 这一块我们会使用redis共…...

编程日记 2024/6/8 13:58:24

使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南

&#x1f3e1;作者主页&#xff1a;点击&#xff01; &#x1f916;AI大模型部署与应用专栏&#xff1a;点击&#xff01; &#x1f916;Ollama部署LLM专栏&#xff1a;点击&#xff01; ⏰️创作时间&#xff1a;2024年6月4日10点50分 &#x1f004;️文章质量&#xff1…...

编程日记 2024/6/8 13:57:23

react的自定义组件

// 自定义组件(首字母必须大写) function Button() {return <button>click me</button>; } const Button1()>{return <button>click me1</button>; }// 使用组件 function App() {return (<div className"App">{/* // 自闭和引用自…...

编程日记 2024/6/8 13:55:21

海宁代理记账公司-专业的会计服务

随着中国经济的飞速发展&#xff0c;企业的规模和数量日益扩大&#xff0c;在这个过程中&#xff0c;如何保证企业的财务活动合规、准确无误地进行&#xff0c;成为了每个企业面临的重要问题&#xff0c;专业、可靠的代理记账公司应运而生。 海宁代理记账公司的主要职责就是为各…...

编程日记 2024/6/8 13:54:20

matlab 计算三维空间点到直线的距离

目录 一、算法原理二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创，原文链接。如果你不是在点云侠的博客中看到该文章，那么此处便是不要脸的爬虫与GPT。 一、算法原理 直线的点向式方程为： x − x 0 m = y...

编程日记 2024/6/8 13:53:19

YOLOv5车流量监测系统研究

一. YOLOv5算法详解 YOLOv5网络架构 上图展示了YOLOv5目标检测算法的整体框图。对于一个目标检测算法而言&#xff0c;我们通常可以将其划分为4个通用的模块&#xff0c;具体包括&#xff1a;输入端、基准网络、Neck网络与Head输出端&#xff0c;对应于上图中的4个红色模块。Y…...

编程日记 2024/6/8 13:52:18

单元测试覆盖率

什么是单元测试覆盖率 关于其定义&#xff0c;先来看一下维基百科上的一段描述&#xff1a; 代码覆盖&#xff08;Code coverage&#xff09;是软件测试中的一种度量&#xff0c;描述程序中源代码被测试的比例和程度&#xff0c;所得比例称为代码覆盖率。 简单来理解&#xff…...

编程日记 2024/6/8 13:51:17

逻辑这回事（三）----时序分析与时序优化

基本时序参数 图1.1 D触发器结构 图1.2 D触发器时序 时钟clk采样数据D时&#xff0c;Tsu表示数据前边沿距离时钟上升沿的时间&#xff0c;MicTsu表示时钟clk能够稳定采样数据D的所要求时间&#xff0c;Th表示数据后边沿距离时钟上升沿的时间&#xff0c;MicTh表示时钟clk采样…...

编程日记 2024/6/8 13:50:16

[JAVASE] 类和对象(二) -- 封装

目录 一. 封装 1.1 面向对象的三大法宝 1.2 封装的基本定义与实现 二. 包 2.1 包的定义 2.2 包的作用 2.3 包的使用 2.3.1 导入类 2.3.2 导入静态方法 三. static 关键字 (重要) 3.1 static 的使用 (代码例子) 3.1.1 3.1.2 3.1.3 3.1.4 四. 总结 一. 封装 1.1 面向对象…...

编程日记 2024/6/8 13:48:14

开发网站，如何给上传图片的服务器目录授权

开发网站&#xff0c;上传图像时提示”上传图片失败&#xff0c;Impossible to create the root directory /var/www/html/xxxxx/public/uploads/avatar/20240608.“ 在Ubuntu上&#xff0c;你可以通过调整文件夹权限来解决这个问题。首先&#xff0c;确保Web服务器&#xff08…...

编程日记 2024/6/8 13:47:11

特别名词Test Paper2

特别名词Test Paper2 cabinet 橱柜cable 电缆&#xff0c;有线电视cafe 咖啡厅cafeteria 咖啡店&#xff0c;自助餐厅cage 笼子Cambridge 剑桥camel 骆驼camera 相机camp 露营campus 校园candidate 候选人&#xff0c;考生candle 蜡烛canteen 食堂capital 资金&#xff0c;首都…...

编程日记 2024/6/8 13:46:10

数据结构-AVL树

目录 二叉树 二叉搜索树的查找方式&#xff1a; AVL树 AVL树节点的实现 AVL树节点的插入操作 AVL树的旋转操作 右旋转&#xff1a; 左旋转&#xff1a; 左右双旋&#xff1a; 右左双旋&#xff1a; AVL树的不足和下期预告&#xff08;红黑树&#xff09; 二叉树 了…...

编程日记 2024/6/8 13:45:09

数字科技如何助力博物馆设计，强化文物故事表现力？

国际博物馆日是每年为了推广博物馆和文化遗产&#xff0c;而设立的一个特殊的日子&#xff0c;让我们可以深入探讨博物馆如何更好地呈现和保护我们的文化遗产&#xff0c;随着近年来的数字科技发展&#xff0c;其在博物馆领域的应用越来越广泛&#xff0c;它为博物馆提供了新的…...

编程日记 2024/6/8 13:44:08

德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第七周) - 结构化预测

结构化预测 0. 写在大模型前面的话1. 词法分析 1.1. 分词1.2. 词性标注 2.2. 句法分析 2.3. 成分句法分析2.3. 依存句法分析 3. 序列标注 3.1. 使用分类器进行标注 4. 语义分析 0. 写在大模型前面的话 在介绍大语言模型之前&#xff0c;先把自然语言处理中遗漏的结构化预测补…...

编程日记 2024/6/8 13:43:06

5-Maven-setttings和pom.xml常用配置一览

5-Maven-setttings和pom.xml常用配置一览 setttings.xml配置 <?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xs…...

编程日记 2024/6/8 13:42:05

input输入框设置样式

input清除自带样式 input, textarea,label, button,select,img,form,table,a{-webkit-tap-highlight-color: rgba(255,255,255,0);-webkit-tap-highlight-color: transparent;margin: 0;padding: 0;border: none; } /*去除iPhone中默认的input样式*/ input, button, select, t…...

编程日记 2024/6/8 13:40:04

什么自己做网站吗/代做关键词收录排名

1、JSP页面 <a href"javascript:void();" id"PicName" > 选择图片</a> <input type"file" id"fileToUpload" name"fileToUpload" ><!--需要设置name属性值&#xff0c;不然上传不了 --> <butto…...

编程日记 2024/11/20 6:32:45

网站改版设计要多久/百度搜索关键词技巧

留学监理服务网东北大学计算机工程(本硕连读) - Computer Engineering基本信息东 北 大 学 - Northeastern 工程学院 - 电子与计算机工程所属学校 所在院系University 系计算机工程(本硕连读) -专业名称 学历层次 本科Computer Engineering工程与技术 计算机与信息科学授予学位…...

编程日记 2024/11/19 17:16:44

wordpress程序漏洞集合/百度账号个人中心

2019独角兽企业重金招聘Python工程师标准>>> Struts2上传文件默认大小是2M,超过则报错。解决办法是在struts.xml中配置&#xff1a; <struts> <constant name "struts.multipart.maxSize" value "10485760"></constant > <…...

编程日记 2024/11/19 13:18:32

做临床研究在哪个网站注册/网络营销成功案例ppt免费

大家应该都被这个问题给困扰过&#xff0c;打开电脑&#xff0c;电脑上全部都是广告弹窗&#xff0c;或者在办公、追剧的时候&#xff0c;电脑突然就弹出了一条烦人的广告&#xff0c;今天就教大家4个方法&#xff0c;永久关闭这些广告弹窗。方法一1、按下组合键【winr】打开运…...

编程日记 2024/11/19 13:16:26

网站开发用什么图片格式最好/建站流程

一、主键自增 1.设置数据库中&#xff0c;主键自增 2.设置VS中Model1.edmx 二、级联删除 使用Data Annotations&#xff1a; 如果我们要到一对主从表增加级联删除&#xff0c;则要在主表中的引用属性上增加Required关键字&#xff0c;如&#xff1a; public class Destination{…...

编程日记 2024/11/19 12:34:24

做网站是做完给钱还是/自己如何制作网页

Regex r new Regex(".*[\\u4e00-\\u9faf].*");r.IsMatch(username)转载于:https://www.cnblogs.com/ZX-LMY/p/5535087.html...

编程日记 2024/11/19 11:47:16