当前位置： 首页 > news >正文

Flink自定义sink并支持insert overwrite 功能

news 文章来源：https://blog.csdn.net/m0_37592814/article/details/133827345 2025/1/8 19:06:33

前言

自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章

组件：

flink: 1.15

参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/

分析

insert overwrite 即在批模式下 先清除表的数据 再插入   

在大数据多并发模式下  只能执行一次清空数据 且需要在执行插入数据之前先清理

 在flink 支持的连接器中  只有  hive和文件系统此2中连接器支持insert overwrite功能,可参考他们的实现方式

此处演示例子

source: flink jdbc连接器

sink : 自定义flink jdbc连接器

加工： insert overwrite osd_user_test select * from ods_user

关键点是在 执行 overwrite 语句时 在任务开始前或结束时 清空原表的数据，且此操作只执行一次，不然会有其他并发执行写入数据了 在执行清数据情况造成漏数

查看FileSystem sink的源代码

相关文章：

Flink自定义sink并支持insert overwrite 功能

前言 自定义flink sink，批模式下，有insert overwrite 需求或需要启动任务或任务完成后时，只执行一次某些操作时，则可参考此文章 组件： flink: 1.15 参考文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sourcessinks/ 分析 inser…...

编程日记 2023/10/17 19:12:02

CSS Vue/RN 背景使用opacity，文字在背景上显示

Vue <div class"training_project_tip"> <div class"tip">展示的文字</div> </div> .training_project_tip { font-size: 12px; font-weight: 400; text-align: left; color: #ffffff; margin-top: 8px; position: relative; dis…...

编程日记 2023/10/17 19:11:00

vue3自定义指令批量注册

第一步、在src目录下新建directives文件文件夹 用来存放不同的指令&#xff0c;以dbounce指令为例&#xff1a; 第二步、在directives目录下创建debounce.js文件&#xff0c;文件内容如下&#xff1a; // 防抖 const debounceClick {mounted(el, binding) {let timerel.addE…...

编程日记 2023/10/17 19:08:57

山西电力市场日前价格预测【2023-10-18】

日前价格预测 预测说明&#xff1a; 如上图所示&#xff0c;预测明日&#xff08;2023-10-18&#xff09;山西电力市场全天平均日前电价为348.72元/MWh。其中&#xff0c;最高日前电价为505.50元/MWh&#xff0c;预计出现在18: 00。最低日前电价为288.10元/MWh&#xff0c;预计…...

编程日记 2023/10/17 19:07:56

2-k8s-控制器介绍

文章目录 一、控制器类型二、Deployment控制器三、SatefulSet控制器四、Daemonset控制器五、Job控制器六、CronJob 控制器 一、控制器类型 Deployment&#xff1a;适合无状态的服务部署StatefullSet&#xff1a;适合有状态的服务部署DaemonSet&#xff1a;一次部署&#xff0c…...

编程日记 2023/10/17 19:05:54

【数据结构】二叉树--OJ练习题

目录 1 单值二叉树 2 相同的树 3 另一颗树的子树 4 二叉树的前序遍历 5 二叉树的最大深度 6 对称二叉树 7 二叉树遍历 1 单值二叉树 965. 单值二叉树 - 力扣&#xff08;LeetCode&#xff09; bool isUnivalTree(struct TreeNode* root) {if (root NULL){return true;}…...

编程日记 2023/10/17 19:04:53

时间复杂度为 O(n^2) 的排序算法

大家好&#xff0c;我是 方圆。对于小规模数据&#xff0c;我们可以选用时间复杂度为 O(n2) 的排序算法&#xff0c;因为时间复杂度并不代表实际代码的执行时间&#xff0c;而且它也省去了低阶、系数和常数&#xff0c;仅代表的增长趋势&#xff0c;所以在小规模数据情况下&…...

编程日记 2023/10/17 19:03:52

ES6 Map数据结构

1.Map是什么&#xff1f; ES6 提供的另一种新的引用类型的数据结构 它类似于对象&#xff0c;也是键值对的集合&#xff0c;但是“键”的范围不限于字符串&#xff0c;各种类型的值&#xff08;包括对象&#xff09;都可以当作键&#xff09; 以前引用类型中的对象也是键值对…...

编程日记 2023/10/17 19:02:51

网页数据采集HTTP Get,Post登录提交数据--VBS之Microsoft.XMLHTTP对象

MSXML中提供了Microsoft.XMLHTTP对象&#xff0c;能够完成从数据包到Request对象的转换以及发送任务。 创建XMLHTTP对象的语句如下&#xff1a; Set objXML CreateObject("Msxml2.XMLHTTP") 或 Set objXML CreateObject(“Microsoft.XMLHTTP”) Or, for version 3…...

编程日记 2023/10/17 19:01:50

强化科技创新“辐射力”，中国移动的数智化大棋局

作者 | 曾响铃 文 | 响铃说 丝滑流畅的5G连接、每时每刻的数字生活服务、无处不在的智能终端、拟人交流的AI助手、梦幻般的XR虚拟现实、直接感受的裸眼3D…… 不知不觉&#xff0c;那个科幻片中的世界&#xff0c;越来越近。 数智化新世界的“气氛”&#xff0c;由一个个具…...

编程日记 2023/10/17 19:00:47

喜报 | 擎创科技实力亮相2023科创会并荣获科技创新奖

近日&#xff0c;由国家互联网数据中心产业技术创新战略联盟&#xff08;NIISA&#xff09;主办的“2023第二届国际互联网产业科技创新大会暨互联网创新产品展览会”于北京圆满落幕。 擎创科技副总裁冯陈湧受邀出席本次论坛&#xff0c;并发表了“银行分布式核心智能运维体系思…...

编程日记 2023/10/17 18:59:45

vue3学习（九）--- keep-alive缓存组件

有时候我们不希望组件被重新渲染影响使用体验&#xff1b;或者处于性能考虑&#xff0c;避免多次重复渲染降低性能。而是希望组件可以缓存下来,维持当前的状态。这时候就需要用到keep-alive组件。 keep-alive有两个独有的生命周期&#xff1a;activated、 deactivated 接下来看…...

编程日记 2023/10/17 18:58:44

用servlet实现一个简单的猜数字游戏。

需要两个页面&#xff0c;一个jsp页面&#xff08;guess.jsp&#xff09;和servlet页面&#xff08;servlet&#xff09;。 一.jsp页面 在jsp页面中需要实现&#xff1a; 1.创建随机数并且保存在session中。 2.做个form表单提交猜的数字给servlet页面。 <%page import&…...

编程日记 2023/10/17 18:57:41

前端取消请求

取消请求 发送一个异步请求获取数据&#xff0c;并在控制台中打印出返回结果。这里使用了 fetch 方法来发送请求&#xff0c;同时使用 AbortController 对象来实现请求的取消操作。 具体来说&#xff0c;代码中定义了一个 list 函数&#xff0c;该函数会创建一个 AbortContro…...

编程日记 2023/10/17 18:56:40

关于6轴球腕机械臂的肩部奇异描述纠正

对于常见的球腕6轴机械臂构型&#xff0c;在大多数资料中奇异点描述如下&#xff1a; 肩部奇异点&#xff08;Shoulder singularity&#xff09;&#xff1a; 肩部奇异点是在机器人手腕的中心与J1轴关节在同一条直线上时发生。这种情况下&#xff0c;会导致关节轴1和4试图瞬间旋…...

编程日记 2023/10/17 18:55:39

Python —— hou.Node class

Houdini内所有节点&#xff08;Object、SOP、COP等&#xff09;的基类&#xff0c;该类的实例对应houdini内的节点&#xff1b; 每个节点都有一个唯一的路径&#xff08;定义其在节点树内的位置&#xff09;&#xff1b;节点路径层次结构类似于文件系统中的文件和文件夹的层次结…...

编程日记 2023/10/17 18:54:38

MATLAB——RBF、GRNN和PNN神经网络案例参考程序

欢迎关注“电击小子程高兴的MATLAB小屋” %————RBF程序实例 %% I. 清空环境变量 clear all clc %% II. 训练集/测试集产生 %% % 1. 导入数据 load spectra_data.mat %% % 2. 随机产生训练集和测试集 temp randperm(size(NIR,1)); % 训练集——50个样本 P_train NIR(t…...

编程日记 2023/10/17 18:53:36

E138: Can‘t write viminfo file

E138: Can’t write viminfo file /home/xxx/.viminfo! 原因 进入/home/xxx/目录下&#xff0c;用ls -a你会发现有很多.viminfa.tmp - .viminfz.tmp 这种的临时文件&#xff0c;这是因为使用vim编辑器时&#xff0c;如果编辑器没有正常退出就会生成一个暂存文件&#xff0c;…...

编程日记 2023/10/17 18:52:35

Compose Canvas基础(2) 图形转换

Compose Canvas基础&#xff08;2&#xff09;图形转换 前言平移 translate缩放 scale旋转 rotate自定义绘图区域及绘制内边距inset组合转换 withTransform完整代码总结 上一篇文章 Compose Canvas基础&#xff08;1&#xff09; drawxxx方法 前言 阅读本文需要一定compose基…...

编程日记 2023/10/17 18:49:29

【计算机网络笔记】分组交换中的报文交付时间计算例题

系列文章目录 什么是计算机网络&#xff1f; 什么是网络协议&#xff1f; 计算机网络的结构 数据交换之电路交换 数据交换之报文交换和分组交换 系列文章目录题目解答 题目 在下图所示的采用“存储-转发”方式的分组交换网络中所有链路的数据传输速率为100 Mbps&#xff0c;分…...

编程日记 2023/10/17 18:48:28

JVS-rules规则引擎，解决大数据风控的自动化决策利器

规则引擎中的评分卡节点是一种用于评估客户信用、风险等级或其他指标的重要工具。它通常用于金融、信贷等领域&#xff0c;以便根据一系列预定义的规则和权重来对客户进行评分。以下是评分卡节点的主要功能、作用以及配置方式的介绍&#xff1a; 功能和作用&#xff1a; 评估…...

编程日记 2023/10/17 18:47:26

dvaJs在react 项目中的简单使用

官网&#xff1a;入门课 | DvaJS 备注&#xff1a;个人学习 代码示例&#xff1a; getColumns.js const getColumns [{title: 姓名, // 列标题dataIndex: name, // 数据字段名称&#xff0c;与数据中的字段名对应key: name, // 列的唯一键},{title: 年龄, // 列标题dataIn…...

编程日记 2023/10/17 18:46:25

如何将las数据转换为osgb数据？

答&#xff1a;如果是需要用点云建模可使用重建大师。如果只是想转换格式可以使用网格大师的点云转osgb工具。 重建大师是一款专为超大规模实景三维数据生产而设计的集群并行处理软件&#xff0c;输入倾斜照片&#xff0c;激光点云&#xff0c;POS信息及像控点&#xff0c;输出…...

编程日记 2023/10/17 18:45:24

创新与重塑，佛塑科技打造集团型 CRM 建设标杆

“十四五”时期是我国全面建成小康社会、实现第一个百年奋斗目标之后&#xff0c;乘势而上开启全面建设社会主义现代化国家新征程、向第二个百年奋斗目标进军的第一个五年。 在政府有序推进“十四五”规划的进程中&#xff0c;佛山佛塑科技集团股份有限公司&#xff08;证券简…...

编程日记 2023/10/17 18:44:23

STM32CUBEMX_DMA串口空闲中断接收+接收发送缓冲区

STM32CUBEMX_DMA串口空闲中断接收接收发送缓冲区 前言&#xff1a; 我了解的串口接收指令的方式有&#xff1a;在这里插入图片描述 1、接收数据中断特定帧尾 2、接收数据中断空闲中断 3、DMA接收空闲中断 我最推荐第三种&#xff0c;尤其是数据量比较大且频繁的时候 串口配置 …...

编程日记 2023/10/17 18:43:23

酸蚀刻对钛医药材料纳米形态表面特性及活化能的影响

引言 由于商业纯钛(CP Ti)具有抗腐蚀性&#xff0c;并且具有合适的机械性能以及生物相容性&#xff0c;因此&#xff0c;目前一直被用作牙科植入材料。为了在临床手术中获得高水平的成功&#xff0c;CP Ti的表面质量和形貌是影响植入手术结果的比较关键的因素之一&#xff0c;…...

编程日记 2023/10/17 18:40:20

iOS代码混淆工具推荐：IPA Guard详细介绍

iOS代码混淆工具推荐&#xff1a;IPA Guard详细介绍 目录 摘要&#xff1a; 引言 正文 1. IPA Guard概述 2. IPA Guard的功能特性 3. IPA Guard的混淆模式 4. 支持的语言 5. 使用场景 总结 参考资料 总结 参考资料 摘要&#xff1a; 了解并选择合适的iOS代码混淆工…...

编程日记 2023/10/17 18:39:19

Vue检测数据的原理

Vue能够对用户的数据进行响应式&#xff0c;也就是你在data中写了什么&#xff0c;你在模板中用到data的部分就会渲染成什么&#xff0c;那么Vue是怎么知道用户修改了data中的数据变化并对模板重新进行解析的呢&#xff1f; 在Vue将数据存储为自身的_data之前&#xff0c;Vue会…...

编程日记 2023/10/17 18:37:16

队列的运行算法

1.链队&#xff1a; 插入 删除 打印 取队顶 #include <stdio.h> #include <stdlib.h>typedef struct Qnode{int data;struct Qnode *next; }Qnode,*QuenePtr;typedef struct {QuenePtr front;QuenePtr rear; }LinkQueue; //初始化 void InitQueue(LinkQueue *q){(…...

编程日记 2023/10/17 18:36:14

KVM/qemu安装UOS 直接让输入用户密码

错误信息 安装后出现&#xff1a; 1、点击刚刚建立的虚拟机最上角感叹号&#xff08;设备管理器&#xff09; ----新建硬件---输入----类型&#xff1a;【通用 USB Mouse】。 ----新建硬件---输入----类型&#xff1a;【通用 USB keyboard】。 2、在设备管理器中----新建硬…...

编程日记 2023/10/17 18:35:13

做注塑机的网站/网络营销策划案

上面的话的意思就是你的 版本过低 但是我想说的是另一个问题 就是我的npm安装create-react-app一直抱着个问题。 然后不管是更新还是卸载都删除不了 现在安装 react项目其实都不建议你全局安装这个 create-react-app 了 // 这样就行了 npx create-react-app demo其实延伸了另…...

编程日记 2025/1/8 18:41:13

怎样做一个微信小程序/搜索引擎seo推广

解决python -m pip install --upgrade pip 报错问题参考文章&#xff1a; &#xff08;1&#xff09;解决python -m pip install --upgrade pip 报错问题 &#xff08;2&#xff09;https://www.cnblogs.com/lwming/p/11693414.html 备忘一下。...

编程日记 2025/1/8 13:11:06

sea wordpress 搭建/津seo快速排名

文章转载自&#xff1a;https://blog.csdn.net/XiangJiaoJun_/article/details/84679596 MXNet在目标检测提供了许多API供用户调用&#xff0c;灵活使用这些函数能大大降低编程难度&#xff0c;其中跟锚框有关的三个函数MultiBoxDetection、MultiBoxPrior、MultiBoxTarget&…...

编程日记 2025/1/8 11:41:04

工程建设项目管理系统平台/许昌seo推广

如下的代码是关于C语言基础&#xff1a;结构体及指针使用演示的代码。 #include <stdio.h>struct Shape {int type;int color;float radius;float area;float perimeter; };{shape->type 0;shape->color 1;shape->radius 5.0;}int main(void){struct Shape c…...

编程日记 2025/1/8 7:21:59

大理做网站/站长网站seo查询

ABB楼宇对讲系统介绍详解.pptDate 主要内容 ABB在智能建筑领域的应用 ABB面向高端市场的楼宇对讲系统-明悦系列 ABB面向中端市场的楼宇对讲系统-振威系列 我们追求双赢合作 ABB在智能建筑领域的应用 产品家族 室内分机 室外主机 安防性能 图像抓拍及存储 户户对讲 电梯控制 双向…...

编程日记 2025/1/8 5:49:32

一般网站的费用/如何建立自己的网页

原标题&#xff1a;iPhone上超好用的三大隐藏功能&#xff0c;网友&#xff1a;后悔现在才知道&#xff01;最近苹果成了众矢之的&#xff0c;总结下原因就是一个字&#xff1a;贵。但是反过来想&#xff0c;一分钱一分货&#xff0c;这么贵还有人买肯定也有它的道理。其实在iP…...

编程日记 2025/1/8 0:33:59