当前位置： 首页 > news >正文

【Flink名称解释一】什么是cataLog

news 文章来源：https://blog.csdn.net/qq_33592535/article/details/134961170 2025/1/16 17:56:28

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的，例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。

CataLog类型：

  • GenericInMemoryCatalog，GenericInMemoryCatalog 是基于内存实现的 Catalog，所有元数据只在 session 的生命周期内可用。

  • JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog 是当前实现的唯一一种 JDBC Catalog。 参考 JdbcCatalog 文档 获取关于配置 JDBC catalog 的详细信息。

  • HiveCatalog 有两个用途：作为原生 Flink 元数据的持久化存储，以及作为读写现有 Hive 元数据的接口。 Flink 的 Hive 文档 提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。

 注意：Hive Metastore 以小写形式存储所有元数据对象名称。而 GenericInMemoryCatalog 区分大小写。

-----之后补充 如何创建 Flink 表并将其注册到 Catalog 

相关文章：

【Flink名称解释一】什么是cataLog

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的&#x…...

编程日记 2023/12/16 22:05:46

ES如何提高准确率之【term-centric】

提高准确率的方法有很多，但是要在提高准确率的同时保证召回率往往比较困难，本文只介绍一种比较常见的情况。 问题场景 我们经常搜索内容，往往不止针对某个字段进行搜索，比如：标题、内容，往往都是一起搜索…...

编程日记 2023/12/16 21:58:40

DDD落地：爱奇艺打赏服务，如何DDD架构？

尼恩说在前面 在40岁老架构师 尼恩的读者交流群(50)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题： 谈谈你的DDD落地经验？ 谈谈你对DDD的理解&#x…...

编程日记 2023/12/16 21:54:37

基于JavaWeb+SSM+Vue居住证申报系统小程序的设计和实现

基于JavaWebSSMVue居住证申报系统小程序的设计和实现 源码获取入口KaiTi 报告Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》 源码获取 源码获取入口 KaiTi 报告 1.1题目背景 随着时代的发展，人口流动越来越频繁&#xff0…...

编程日记 2023/12/16 21:49:32

环境安全之配置管理及配置安全设置指导

一、前言 IT运维过程中，配置的变更和管理是一件非常重要且必要的事，除了一般宏观层面的配置管理，还有应用配置参数的配置优化，本文手机整理常用应用组件配置项配置，尤其安全层面，以提供安全加固指导实践。…...

编程日记 2023/12/16 21:48:31

【C#】Microsoft C# 视频学习总结

一、文档链接 C# 文档 - 入门、教程、参考。| Microsoft Learn 二、基础学习 1、输出语法 Console.WriteLine() using System; namespace HelloWorldApplication {class HelloWorld{static void Main(string[] args){Console.WriteLine("Hello World!");}} }Hel…...

编程日记 2023/12/16 21:47:30

【已解决-实操篇】SaTokenException: 非Web上下文无法获取Request问题解决-实操篇

在上一篇《【理论篇】SaTokenException: 非Web上下文无法获取Request问题解决 -理论篇》中，凯哥(公众号：凯哥Java)介绍了了产生这个问题的源码在哪里，以及怎么解决的方案。没有给出实际操作步骤。 本文，凯哥就通过threadLocal方案…...

编程日记 2023/12/16 21:45:28

论文润色机构哪个好 快码论文

大家好，今天来聊聊论文润色机构哪个好，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题：论文润色机构哪个好――专业、高效、可靠的学术支持 一…...

编程日记 2023/12/16 21:44:27

Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor

如果执行以下命令失败，先把mvn的-q参数去掉，让错误输出到控制台。 《idea配置优化、Maven配置镜像、并行构建加速打包、解决maven打包时偶尔几个文件没权限的问题》下面的使用company-repo私有仓库和阿里云镜像仓库同时使用的配置参考。 bat echo off …...

编程日记 2023/12/16 21:40:23

NCNN 源码学习【三】：数据处理

一、Topic：数据处理 这次我们来一段NCNN应用代码中，除了推理外最重要的一部分代码，数据处理： ncnn::Mat in ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_v…...

编程日记 2023/12/16 21:38:21

RabbitMq基本使用

目录 SpringAMQP1.准备Demo工程2.快速入门1.1.消息发送1.2.消息接收1.3.测试 3.WorkQueues模型3.1.消息发送3.2.消息接收3.3.测试3.4.能者多劳3.5.总结 SpringAMQP 将来我们开发业务功能的时候，肯定不会在控制台收发消息，而是应该基于编程的方式。由于R…...

编程日记 2023/12/16 21:36:20

windows wsl2 ubuntu上部署 redroid云手机

Redroid WSL2部署文档 下载wsl内核源码 #文档注明 5.15和5.10 版本内核可以部署成功，这里我当前最新的发布版本 #下载wsl 源码 wget --progressbar:force --output-documentlinux-msft-wsl-5.15.133.1.tar.gz https://codeload.github.com/microsoft/WSL2-Linux-Ker…...

编程日记 2023/12/16 21:33:16

创维电视机 | 用当贝播放器解决创维电视机不能播放MKV视频的问题

小故事在下面，感兴趣可以看看，开头我就直接放解决方案 创维电视虽然是基于Android开发的，可以安装apk软件，但是基本不能用，一定要选择适配电视的视频播放器，或者使用本文中提供的创维版当贝播放器。 原软…...

编程日记 2023/12/16 21:32:15

【STM32】DMA直接存储器存取

1 DMA简介 DMA（Direct Memory Access）直接存储器存取 可以直接访问STM32的存储器的，包括运行SRAM、程序存储器Flash和寄存器等等 DMA可以提供外设寄存器和存储器或者存储器和存储器之间的高速数据传输，无须CPU干预，节…...

编程日记 2023/12/16 21:31:14

Vue3-09-条件渲染-v-show 的基本使用

v-show 的作用 v-show 可以根据条件表达式的值【展示】或【隐藏】html 元素。v-show 的特点 v-show 的实现方式是 控制 dom 元素的 css的 display的属性， 因此，无论该元素是否展示，该元素都会正常渲染在页面上， 当v-show 的 条件…...

编程日记 2023/12/16 21:30:13

ArrayList与LinkLIst

ArrayList 在Java中，ArrayList是java.util包中的一个类，它实现了List接口，是一个动态数组，可以根据需要自动增长或缩小。下面是ArrayList的一些基本特性以及其底层原理的简要讲解： ArrayList基本特性： 动…...

编程日记 2023/12/16 21:29:12

位运算（、|、^、~、＞＞、＜＜）

分类 编程技术 1.位运算概述 从现代计算机中所有的数据二进制的形式存储在设备中。即 0、1 两种状态，计算机对二进制数据进行的运算(、-、*、/)都是叫位运算，即将符号位共同参与运算的运算。 口说无凭，举一个简单的例子来看下 CPU 是如何进…...

编程日记 2023/12/16 21:19:04

Centos7部署SVN

文章目录 （1）SVN概述（2）SVN与Samba共享（3）安装SVN（4）SVN搭建实例（5）pc连接svn服务器（6）svn图标所代表含义 （1）…...

编程日记 2023/12/16 21:14:00

Vue中this.$nextTick的执行时机

一、Vue中this.$nextTick的执行时机，整体可分为两种情况： 第一种：下一次 Dom 更新之后执行（即等待DOM更新结束之后，执行nextTick的延迟回调函数）； 第二种：页面挂载后 （m…...

编程日记 2023/12/16 21:08:56

Unity中的ShaderToy

文章目录 前言一、ShaderToy网站二、ShaderToy基本框架1、我们可以在ShaderToy网站中，这样看用到的GLSL文档2、void mainImage 是我们的程序入口，类似于片断着色器3、fragColor作为输出变量，为屏幕每一像素的颜色，alpha一般赋值为…...

编程日记 2023/12/16 21:07:55

2 使用postman进行接口测试

上一篇：1 接口测试介绍-CSDN博客 拿到开发提供的接口文档后，结合需求文档开始做接口测试用例设计，下面用最常见也最简单的注册功能介绍整个流程。 说明：以演示接口测试流程为主，不对演示功能做详细的测试，…...

编程日记 2023/12/16 21:04:52

【数据库设计和SQL基础语法】--查询数据--聚合函数

一、聚合函数概述 1.1 定义 聚合函数是一类在数据库中用于对多个行进行计算并返回单个结果的函数。它们能够对数据进行汇总、统计和计算，常用于提取有关数据集的摘要信息。聚合函数在 SQL 查询中广泛应用，包括统计总数、平均值、最大值、最小值等。 1…...

编程日记 2023/12/16 21:02:50

Module ‘app‘: platform ‘android-33‘ not found.

目录 一、报错信息 二、解决方法 一、报错信息 Module app: platform android-33 not found. 检查你的应用程序的build.gradle文件中的targetSdkVersion和compileSdkVersion是否正确设置为已安装的Android SDK版本。 确保你的Android Studio已正确安装并配置了所需的Android …...

编程日记 2023/12/16 21:00:49

MySQL按序批量操作大量数据

MySQL按序批量操作大量数据（Java、springboot、mybatisplus、ElasticSearch） 以同步全量MySQL数据到ElasticSearch为例。 核心代码 业务逻辑： public boolean syncToElasticsearch() {log.info("Starting data synchronization to El…...

编程日记 2023/12/16 20:57:47

strict-origin-when-cross-origin

严格限制同源策略 （1）允许服务器的同源IP地址访问 （2）允许Referer --- 后端服务器要配置...

编程日记 2023/12/16 20:53:44

【置顶】 本博博文汇总

文章目录 前言音视频ijkplayer源码分析FFmpeg、音视频协议Andriod系统音视频框架C、C Android&Java源码分析、绘制、渲染Dalvik、Art虚拟机Java并发 计算机基础操作系统计算机网络设计模式、数据结构、算法 前言 23年底了，想来也工作十年，也一直在c…...

编程日记 2023/12/16 20:52:43

react.js源码二

三、调度Scheduler scheduling(调度)是fiber reconciliation的一个过程，主要决定应该在何时做什么?在stack reconciler中，reconciliation是“一气呵成”，对于函数来说，这没什么问题，因为我们只想要函数的运行结果，但对于UI来说还需要考虑以下问题： 并不是所有的state更…...

编程日记 2023/12/16 20:48:39

如何学习英语

前言 首先写一些自己的感言吧，其实从大学的时候就在不断地听英语，学英语，但是到毕业十几年后，英语一直没起到什么作用，当然最有作用的时候就是几次英语面试吧。 工作之后有一段学习英语的经历，当时花费了…...

编程日记 2023/12/16 20:44:36

robot测试自动化

一. 安装 黑羽robot 首先确保你电脑上安装好了 Python 3.7 或者 3.8 版本的解释器 hyrobot 使用说明1 | 白月黑羽 安装RF 黑羽robot基于Robot Framework ，所以必须先安装RobotFramework 直接执行如下Pip命令即可： pip install robotframework...

编程日记 2023/12/16 20:42:34

Linux---重定向命令

1. 重定向命令的介绍 重定向也称为输出重定向，把在终端执行命令的结果保存到目标文件。 2. 重定向命令的使用 命令说明>如果文件存在会覆盖原有文件内容，相当于文件操作中的‘w’模式>>如果文件存在会追加写入文件末尾，相当于文件…...

编程日记 2023/12/16 20:41:33

佛山哪个做网站的好/广州白云区疫情实时动态

单例模式:必考 1 # 设计模式: 单例模式. 最简单的设计模式. 面试必考,默写.2 # 单例模式: 对一个类是能实例化一个对象.3 4 class A:5 __instance None6 def __new__(cls, *args, **kwargs):7 if A.__instance is None: #初次进入满足该条件8 obj…...

编程日记 2025/1/16 11:58:36

政府网站建设需求方案/中国目前最好的搜索引擎

随便拿一个搜索引擎搜索一下“两列自适应布局”，都能得到很多种实现方法，这篇文章的重点是这些方法的底层逻辑是什么，他们是怎么得来的。 分析： 需要满足三个要求： ①两个盒子在同一行 ②右边的盒子需要占满剩下的空间…...

编程日记 2025/1/16 11:39:11

如何申请免费域名做网站/百度销售平台怎样联系

2019独角兽企业重金招聘Python工程师标准>>> Java 在 I/O 领域一直处于劣势，这种情况直到 J2SE SDK 发布了 1.4 版以后才有了改观。 Java 的劣势源于其最大的优势：一次编写，到处运行。 Java 需要运行于虚拟机（即 JVM&a…...

编程日记 2025/1/16 10:26:56

广东万高建设网站/哪家建设公司网站

您将在本节继续团队介绍页面的制作，为另一个团队成员制作动画展示效果。首先使用键盘上的快捷键，复制当前幻灯片。 选择此处的椭圆图片。 在视图比例滑杆上点击，缩小幻灯片的显示比例。 按下键盘上的shift键。 在按下该键的同时，点击此处以同时选择多个对象。 向左侧拖…...

编程日记 2025/1/16 7:13:56

个人网页设计制作题目目的/seo诊断

据日经新闻6月29日消息，多亏开发出了新的人工智能分析系统，东芝的支柱产业闪存业务的生产效率提升，东芝有望加快逃出经营困局。在东芝的三重县四日工厂，AI分析技术主要用于监控半导体生产过程中的良品率，对于不合格的电…...

编程日记 2025/1/16 6:49:21

代办网站/宁波网站推广优化哪家正规

应用发布简单的流程：1.集群节点应用下线（下面会介绍为什么将这个放在第一位.）2.获取最新代码3.编译打包4.推送到应用机器5.差异复制6.重启7.测试8.加入集群 我公司都是使用nginx完成负载均衡的...当我们后端应用python,java,nodejs需要升级上…...

编程日记 2025/1/16 6:22:57