当前位置： 首页 > news >正文

FlinkCDC 菜鸟教程-文章目录

news 文章来源：https://blog.csdn.net/RodJohnsonDoctor/article/details/132719241 2024/11/28 14:38:53

系列文章目录

背景篇

环境篇

  1.  准备一台已经安装了 Docker 的 Linux 或者 MacOS 电脑。
  2. 准备教程所需要的组件
  3. 版本对应关系
  4. 安装
  5. 环境检查

工具篇

  1. flink
  2. kibana

概念篇

  1. Docker 介 绍
  2. Docker Compose 介 绍
  3. Kibana介 绍

实践篇

演示: Mysql CDC 导入 Elasticsearch
  1. 启动服务
  2. 准备数据
  3. 在 Flink SQL CLI 中使用 Flink DDL 创建表
  4. 关联订单数据并且将其写入 Elasticsearch 中
  5. 环境清理
演示: postgres CDC 导入 Elasticsearch
  1. 启动 Flink 集群和 Flink SQL CLI
  2. 在 Flink SQL CLI 中使用 Flink DDL 创建表
  3. 将其写入 Elasticsearch 中
  4. 环境清理
演示: MongoDB CDC 导入 Elasticsearch
  1. 启动 Flink 集群和 Flink SQL CLI
  2. 在 Flink SQL CLI 中使用 Flink DDL 创建表
  3. 将其写入 Elasticsearch 中
  4. 环境清理
演示: Mysql CDC 导入 Kafka
  1. 在 MySQL 数据库中准备数据
  2. 启动 Flink 集群和 Flink SQL CLI
  3. 在 Flink SQL CLI 中使用 Flink DDL 创建表
  4. kafka控制台相关命令
  5. 环境清理

遇到问题

  1. 版本兼容问题
  2. docker-compose安装问题
  3. 容器启动失败问题
  4. Flink SQL执行失败问题

相关文章：

FlinkCDC 菜鸟教程-文章目录

系列文章目录 背景篇 环境篇 准备一台已经安装了 Docker 的 Linux 或者 MacOS 电脑。准备教程所需要的组件版本对应关系安装环境检查 工具篇 flinkkibana 概念篇 Docker 介 绍Docker Compose 介 绍Kibana介 绍 实践篇 演示: Mysql CDC 导入 Elasticsearch 启动服务准备…...

编程日记 2023/9/10 18:40:56

从零开始-与大语言模型对话学技术-gradio篇（4）

前言 本文介绍「星火杯」认知大模型场景创新赛中的落选项目- AI命理分析系统，属于个人娱乐练手。总结提炼了往期文章精华并发掘出新的知识。 包括本地部署版本和Web在线版本，两种打包方式基于 半自动化使用.bat手动打包迁移python项目 如何把 Gradio …...

编程日记 2023/9/10 18:39:55

OpenCV项目实战（1）— 如何去截取视频中的帧

前言：Hello大家好，我是小哥谈。针对一段视频，如何去截取视频中的帧呢？本节课就给大家介绍两种方式，一种方式是按一定间隔来截取视频帧，另一种方式是截取视频的所有帧。希望大家学习之后能够有所收获&#x…...

编程日记 2023/9/10 18:38:53

「程序员必须掌握的算法」动态规划「上篇」

动态规划详解 动态规划 (Dynamic Programming) 是一种算法思想，用于解决一些复杂的问题。本文将介绍动态规划的分类、概念和经典例题讲解。 动态规划的分类 动态规划可以分为以下两种类型： 0/1背包问题：该问题是动态规划的一种基本类型。…...

编程日记 2023/9/10 18:37:51

什么是Linux

什么是Linux？ 不知道大家是什么时候开始接触Linux，我记得我是大三的时候，那时候通过国嵌、韦东山的教学视频，跟着搭bootloader，修改内核，制作根文件系统，一步步，视频真的很简单&…...

编程日记 2023/9/10 18:36:50

学习笔记|定时器|STC中断|定时器时间计算|STC32G单片机视频开发教程（冲哥）|第十一集：定时器的作用和意义

文章目录 1.定时器的作用和意义定时器中断定时器是定时器和计数器的统称。 2.STC32G单片机定时器使用原理2.1 先设置功能为定时器/计数器(本质都是加法计数器)2.2、在定时器模式下，设置不分频或者12分频∶Tips：选择不分频还是12分频2.3、定时器的工作模式…...

编程日记 2023/9/10 18:35:49

第28节-PhotoShop基础课程-图层操作

文章目录 前言1.像素图层2.删除 Delete3.合并 Ctrl E4.盖印 Ctrl Shift Alt5.图层顺序-拖动就可以6.编组-Ctrl G 管理图层-分类存放7.锁定图层-背景图层8.不透明度9.查找图层 2.智能图层1.能保持图片放大缩小（Ctrl T）的时候不丢失分辨率2.和滤镜配合使…...

编程日记 2023/9/10 18:34:47

CGAL 闵可夫斯基和（Minkowski Sums）

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 假设给定两个集合 A , B ∈ R d A,B∈R^d A,B...

编程日记 2023/9/10 18:33:46

Layui快速入门之第二节布局容器(固定宽度与完整宽度)

目录 一&#xff1a;固定宽度 二&#xff1a; 完整宽度 一&#xff1a;固定宽度 将栅格放入一个带有 class"layui-container" 的特定容器中&#xff0c;以便在小屏幕以上的设备中固定宽度&#xff0c;让列可控(两侧有留白效果) <!--固定宽度(两侧有留白效果)--&…...

编程日记 2023/9/10 18:32:44

异地容灾系统和数据仓库中数据同步的设计软件的功能模型

&#xff08; 1&#xff09;初始同步模块 该模块主要是在表进行初始同步时使用的&#xff1b;它能够根据实际需要生成物化视图 及其索引的创建语句&#xff0c;并完成表的初始同步。如果没有特别的要求&#xff0c;则调用普通初 始同步子模块进行目的端表的初始同步&#xff…...

编程日记 2023/9/10 18:31:42

分布式调度 Elastic-job

分布式调度 Elastic-job 1.概述 1.1什么是任务调度 我们可以思考一下下面业务场景的解决方案: 某电商平台需要每天上午10点&#xff0c;下午3点&#xff0c;晚上8点发放一批优惠券某银行系统需要在信用卡到期还款日的前三天进行短信提醒某财务系统需要在每天凌晨0:10分结算…...

编程日记 2023/9/10 18:30:40

第 2 章 线性表（学生健康登记表实现）

1. 示例代码 1) status.h /* DataStructure 预定义常量和类型头文件 */#ifndef STATUS_H #define STATUS_H/* 函数结果状态码 */ #define TRUE 1 /* 返回值为真 */ #define FALSE 0 /* 返回值为假 */ #define RET_OK 0 /* 返回值正确 */ #define INFEASI…...

编程日记 2023/9/10 18:29:39

第三周晨考自测（3.0）

1.获取元素的偏移量 offsetLeft和offsetTop 分别获取的是元素元素左边的偏移量和上边的偏移量 语法&#xff1a;元素对象.offsetLeft /元素对象.offsetTop 返回值&#xff1a;就是该元素对应的偏移量&#xff0c;是一个具体的数字 offsetLeft&#xff1a;该元素相对于参考…...

编程日记 2023/9/10 18:28:38

C++ 结构体

前文 C中的结构体是一种非常有用的数据类型&#xff0c;它允许我们将不同的变量组合在一起&#xff0c;形成一个自定义的数据结构。 结构体在C中的应用非常广泛&#xff0c;它可以用来表示和管理各种实体、对象或数据的属性。比如&#xff0c;在一个学生管理系统中&#xff0c…...

编程日记 2023/9/10 18:27:37

如何使用聊天GPT自定义说明

推荐&#xff1a;使用 NSDT场景编辑器 快速搭建3D应用场景 OpenAI ChatGPT正在席卷全球。一周又一周&#xff0c;更新不断提高您可以使用这种最先进的语言模型做什么的标准。 在这里&#xff0c;我们深入研究了OpenAI最近在ChatGPT自定义指令上发布的公告。此功能最初以测试版…...

编程日记 2023/9/10 18:26:36

mac pyenv无法切换python版本问题

看是zsh还是bash echo $SHELLzsh 配置到&#xff5e;/.zshrc 文件 vim ~/.zshrcexport PYENV_ROOT"$HOME/.pyenv" command -v pyenv >/dev/null || export PATH"$PYENV_ROOT/bin:$PATH" 执行 source ~/.zshrc bash vim ~/.bashrc export PYENV_R…...

编程日记 2023/9/10 18:25:34

API接口接入电商平台案例，采集淘宝天猫拼多多1688京东LAZADA数据按关键字搜索商品示例

按关键字搜索商品数据API接口可以让用户轻松地在海量商品中找到自己需要的商品。这个接口包括多种搜索方式&#xff0c;例如利用关键字搜索商品名称、商品描述、商品分类、商家信息等。同时&#xff0c;还可以通过不同的排序方式进行筛选&#xff0c;例如销量排行、价格排行、评…...

编程日记 2023/9/10 18:24:33

持安-大连万达集团零信任项目入选中国信通院2023零信任优秀案例

2023年8月25日&#xff0c;以“链接云端&#xff0c;可信而安”为主题的“2023首届SecGo云和软件安全大会”在京隆重召开。会上&#xff0c;中国信息通信研究院重磅揭晓了“安全守卫者计划”优秀案例评选结果。 零信任办公安全技术创新企业持安科技&#xff0c;与用户大连万达…...

编程日记 2023/9/10 18:23:31

python28种极坐标绘图函数总结

文章目录 基础图误差线等高线polar场图polar统计图非结构坐标图 &#x1f4ca;python35种绘图函数总结&#xff0c;3D、统计、流场&#xff0c;实用性拉满 matplotlib中的画图函数&#xff0c;大部分情况下只要声明坐标映射是polar&#xff0c;就都可以画出对应的极坐标图。但…...

编程日记 2023/9/10 18:22:30

C#编程基础(万字详解,这一篇就够了)

C#及其开发环境简介 C#概述 C#的编程功能 C#与.Net的关系 .Net C# C#的集成开发环境 Windows上编写C#程序 Linux/Mac OS上编写C#程序 运行第一个HelloWorld程序 C#基本语法 程序实例 C#基本语法 using关键字 class关键字 注释 成员变量 成员函数 实例化一个类…...

编程日记 2023/9/10 18:21:06

SpringBoot中自定义注解

目录 SpringBoot中自定义注解 关于注解的解释 元注解 Documented Target Retention Inherited Native 自定义注解 自定义注解与SpringBoot全局异常处理完成参数校验 约束验证器 自定义全局异常处理器 自定义注解完成数据脱敏 定义脱敏策略枚举 自定义注解 实行脱…...

编程日记 2023/9/10 18:20:03

《TCP/IP网络编程》阅读笔记--地址族和数据序列

目录 1--IP地址和端口号 2--地址信息的表示 3--网络字节序与地址变换 4--网络地址的初始化与分配 5--Windows部分代码案例 1--IP地址和端口号 IP 地址分为两类&#xff1a; ① IPv4 表示 4 字节地址族&#xff1b; ② IPv6 表示 16 字节地址族&#xff1b; IPv4 标准的 4 …...

编程日记 2023/9/10 18:19:00

【C++】可变参数模板

2023年9月9日&#xff0c;周六下午 这个还是挺难学的&#xff0c;我学了好几天... 在这里我会举大量的示例程序&#xff0c;这样可以有一个更好的理解&#xff0c; 不定期更新。 目录 推荐文章&#xff1a; 示例程序一&#xff1a;拼接字符串 示例程序二&#xff1a;求整…...

编程日记 2023/9/10 18:17:59

WPF Flyout风格动画消息弹出消息提示框

WPF Flyout风格动画消息弹出消息提示框 效果如图&#xff1a; XAML: <Window x:Class"你的名称控件.FlyoutNotication"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://schemas.microsoft.com/winfx/2006/xam…...

编程日记 2023/9/10 18:16:58

Spring Boot 集成 Redis

Spring-data-redis 在 Spring 中整合 Redis jedis : 采用的直连&#xff0c;多个线程操作的话&#xff0c;是不安全的&#xff0c;如果想要避免不安全的&#xff0c;使用 jedis pool 连接池 lettuce : 采用netty&#xff0c;实例可以再多个线程中进行共享&#xff0c;不存在…...

编程日记 2023/9/10 18:15:57

Java线程之间通信方式

目录 1 线程之间的通信方式主要有以下几种2 共享变量3 锁机制4 条件变量5 信号量6 管道 1 线程之间的通信方式主要有以下几种 在实际开发时&#xff0c;一个进程中往往有很多个线程&#xff0c;大多数线程之间往往不是绝对独立的&#xff0c;比如说我们需要将A和B 两个线程的执…...

编程日记 2023/9/10 18:14:56

【LeetCode-中等题】367. 有效的完全平方数

文章目录 题目方法一&#xff1a;二分查找 题目 方法一&#xff1a;二分查找 找 1 - num 之间的 mid&#xff0c; 开方是整数 就找得到 mid&#xff0c; 不是整数自然找不到mid class Solution { // 二分查找 &#xff1b;找 1 - num 之间的mid 开方是整数 就找得到 不是…...

编程日记 2023/9/10 18:13:54

英语单词(二)

1.int:整形 2.char:字符型 3.scanner:接受输入,扫描器 4.integer:整数,整形 5.type:类型 6.string:字符串类型 7.double:双精度浮点型...

编程日记 2023/9/10 18:12:52

Django 用相对路径方式引用自定义模块 或 文件

Django的文件夹结构 projectName/websiteName/appName manage.py 所在路径为&#xff1a;D:/projectA/website1/manage.py views.py 所在路径为&#xff1a;D:/projectA/website1/app1/views.py D:/projectA/website1/app1/module1.py 如果要引用自定义模块&#xff0c;引用…...

编程日记 2023/9/10 18:11:52

企业架构LNMP学习笔记22

防盗链原理和实现。 域名A的资源文件&#xff0c;经常被域名B直接调用访问。 而用户经常访问域名B&#xff0c;看到的资源&#xff08;图片等&#xff09;以为是域名B的&#xff0c;实际则是域名A的。 但是域名A没有获得任何收益&#xff0c;却要给域名B来源的访问消耗服务器…...

编程日记 2023/9/10 18:10:51

wordpress 3.9 编辑文章 固定链接 不能编辑/宁波公司做网站

订单表 (order) |-- 自动编号&#xff08;order_id, 自增长主键&#xff09; |-- 订单单号&#xff08;order_no, 唯一值&#xff0c;供客户查询&#xff09; |-- 商店编号&#xff08;shop_id, 商店表自动编号&#xff09; |-- 订单状态 (order_status,未付款,已付款,已发货,已…...

编程日记 2024/11/28 13:35:41

市场监督局网站电子签名怎么做/windows优化大师下载安装

什么是mysqlsandbox 一群海豚在属于自己的海滩上自由的玩耍&#xff0c;尽管只是一个方盒的大小&#xff0c;但是设备一样的齐全&#xff0c;同样可以玩的很开心&#xff0c;这就是我今天要说的——MySQL Sandbox2.0&#xff0c;3.0也将要推出。 MySQL Sandbox是一个非常简单快…...

编程日记 2024/11/28 10:39:42

浙江市建设网站/优化网站标题名词解释

先创建一个分区&#xff0c;具体步骤参考这个链接然后挂载&#xff1a; 提示错误的话&#xff0c;试试 mount -t ext4 /dev/sdb4 /mnt/sdb4/...

编程日记 2024/11/28 8:32:08

无锡网站建设的公司/新闻发布的网站

概念&#xff1a; 主键(primary key) 能够唯一标识表中某一行的属性或属性组。一个表只能有一个主键&#xff0c;但可以有多个候选索引。主键常常与外键构成参照完整性约束&#xff0c;防止出现数据不一致。主键可以保证记录的唯一和主键域非空,数据库管理系统对于主键自动生成…...

编程日记 2024/11/28 8:17:00

国家城乡住房建设部网站首页/百度官方客户端

jquery[] jquery概念jquery是JS的框架。JS的函数库。【】BOMBOM&#xff1a;Browser Object ModelBOM对象&#xff1a;1.window&#xff1a;BOM根对象2.window.navigator 浏览器对象3.window.location : URL地址对象4.window.document: 文档对象。5.window.history 历史对象【】…...

编程日记 2024/11/28 7:07:13

品牌网站建设完善大蝌蚪/微博推广费用一般多少

在前面文章《矩阵的四个基本子空间》中提到&#xff1a; 一个秩为r&#xff0c;m*n的矩阵A中&#xff0c;其行空间和列空间的维数为r&#xff0c;零空间和左零空间的维数分别为n-r&#xff0c;m-r&#xff0c;并且有行空间与零空间正交&#xff0c;列空间与左零空间正交。“掌握…...

编程日记 2024/11/28 4:35:43