当前位置： 首页 > news >正文

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

news 文章来源：https://blog.csdn.net/sinat_23225111/article/details/132875276 2025/1/14 18:14:09

1、背景：

在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下

FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18

 而数据库中原始数据如下，并没有到下午5点，这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况，与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不行的

2、 产生这种情况的原因是什么呢?

FlinkCDC底层为Debezium，而Debezium默认将MySQL中datetime类型转成UTC的时间戳,底层的 Debezium 并没有实现 serverTimeZone 的配置，时区是写死的无法更改，导致数据库中设置的UTC+8到了FlinkCDC读取出来相差了8个小时

3、如何解决呢

我们可以通过在自定义反序列化器中实现时区的修复，需要提前准备一个mysql，本案例版本为Mysql5.7，并且开启binlog，如何开启binlog过程如下面的博客

相关文章：

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

1、背景： 在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下 FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18 而数据库中原始数据如下，并没有到下午5点…...

编程日记 2023/9/14 22:01:45

Javas | DecimalFormat类、BigDecimal类、Random类

目录： 1.DecimalFormat类2.BigDecimal类3.Random类4.需求：编写程序，生成5个不重复的随机数 1.DecimalFormat类 DecimalFormat 是 NumberFormat 的一个具体子类，用于格式十进制数字。 /*** 关于数字的格式化*/ public class Decima…...

编程日记 2023/9/14 22:00:44

机器学习 实战系列 总目录

1、机器学习实战-系列教程1：线性回归入门教程（项目实战、原理解读、源码解读） 机器学习实战-系列教程1：线性回归入门教程（项目实战、原理解读、源码解读） 2、机器学习实战-系列教程2：手撕线性回…...

编程日记 2023/9/14 21:59:43

机器学习——贝叶斯（三种分布）/鸢尾花分类分界图/文本分类应用

0、前言： 机器学习中的贝叶斯的理论基础是数学当中的贝叶斯公式。这篇博客强调使用方法，至于理论未作深究。机器学习中三种类型的贝叶斯公式：高斯分布（多分类）、多项式分布（文本分类）、伯努利分…...

编程日记 2023/9/14 21:58:42

SOLIDWORKS Composer位置关键帧的使用

SOLIDWORKS Composer是专业的SOLIDWORKS及3D文件处理的动画制作软件，作为SOLIDWORKS 产品线下的一个明星存在。 SOLIDWORKS Composer几乎可以处理任何SOLIDWORKS的模型文件并将之转化成可以动作的机械动画，可以引用在企业的网站、产品说明书以及工作指导…...

编程日记 2023/9/14 21:57:41

PostgreSQL 流复制搭建与维护

文章目录 前言1. 配置环境1.1 环境介绍1.2 主库白名单1.3 主库参数配置 2. 流复制搭建2.1 备份恢复2.2 创建复制用户2.3 参数修改2.4 启动并检查2.5 同步流复制2.6 同步复制级别 3. 流复制监控3.1 角色判断3.2 主库查看流复制3.3 延迟监控3.4 备库查询复制信息 前言 PostgreSQ…...

编程日记 2023/9/14 21:55:40

【Redis】关于过期数据清除的一些策略

这里要讨论的为过期的数据是如何被清除的，也就是网上常常讨论的过期清除策略。 需要注意的是，redis除了会对过期的数据进行淘汰，也可以通过对内存大小进行限制，并对超出内存限制后进行数据淘汰。此时淘汰的数据未必是过期的&…...

编程日记 2023/9/14 21:54:39

动态SQL

Mybatis框架的动态SQL技术是一种根据特定条件动态拼装SQL语句的功能，它存在的意义是为了解决拼接SQL语句字符串时的痛点问题。 1、if if标签可通过test属性的表达式进行判断，若表达式的结果为true，则标签中的内容会执行；反之标签…...

编程日记 2023/9/14 21:53:38

uniapp:OCR识别身份证上传原图失败,问题解决

1、上传普通图片成功 2、上传>4M | >5M图片失败检查&#xff1a;1、uni.uploadFile自身没有文件大小限制。然而&#xff0c;这仍然取决于你的应用程序所在的平台和存储空间容量。 2、上传照片后不在fail&#xff0c;在sucess 提交照片-3 {"data": "<h…...

编程日记 2023/9/14 21:50:34

shell循环和函数

目录 1.for循环2.while循环3.until循环4.函数 1.for循环 for循环是固定循环&#xff0c;也就是在循环时就已经知道需要进行几次的循环&#xff0c;有事也把for循环成为计数循环。for的语法如下两种&#xff1a; 语法一 for 变量 in 值1 值2 值3 …(可以是一个文件等)do程序do…...

编程日记 2023/9/14 21:49:33

京东详情api

简要描述 根据商品id获取详情数据 请求URL http://xxx.xxx.xxx.xxx:xxxx/jd.get.item 请求方式 get 请求Query参数 参数名示例值必选类型说明itemid100016034386是string商品idtokenadmin.api是string权限token 成功返回示例 部分数据展示&#xff1a; {"data&qu…...

编程日记 2023/9/14 21:48:32

MySQL最新版8.1.0安装配置教程

目录 目录 前言 安装流程图 1&#xff0c;MySQL数据库是什么? 2&#xff0c;下载zip压缩包 3&#xff0c;解压到要安装的目录 4,添加环境变量 4.1,找到环境变量 4.2,进行环境变量的添加 5.新建mysql 配置文件 6、安装mysql服务 7、初始化数据文件 8、启动mysql …...

编程日记 2023/9/14 21:44:26

5G试题_1

1、 全息技术属于对5G三大类应用场景网络需求中的哪一种&#xff1f;&#xff08;A&#xff09; A. 增强移动宽带 B. 海量大连接 C. 低时延高可靠 D. 低时延大带宽 2、 在5G时代&#xff0c;不同领域的不同设备大量接入网络&#xff0c;其实引用传统的组网方式和服务提供形式也…...

编程日记 2023/9/14 21:43:25

正规股票配资网站的三个明显特点分析

随着股票市场的快速发展&#xff0c;越来越多的投资者开始考虑使用股票配资来增加自己的资金流动性和收益率。然而&#xff0c;在选择股票配资网站时&#xff0c;投资者往往难以辨别哪些网站是正规的&#xff0c;哪些网站存在风险。因此&#xff0c;以下将分析正规股票配资网站…...

编程日记 2023/9/14 21:42:24

质疑苹果5G信号造假成为闹剧，反而将运营商置于尴尬境地

在iPhone15发布会处于热点之际&#xff0c;一位号称通信专家的人士指责iPhone的5G信号造假&#xff0c;一度闹得沸沸扬扬&#xff0c;导致舆论一开始都是质疑苹果造假&#xff0c;然而在知乎却有更多专业人士指出这位专家不了解5G技术&#xff0c;这个问题或许反而出在运营商身…...

编程日记 2023/9/14 21:41:23

vue 预览zip

ZIP的数据从接口传递数据流过来。解析数据流&#xff0c;并将zip的目录绑定到tree中。 1.引入插件jszip&#xff1a; yarn add jszip 2.在需要引用的页面引用&#xff1a; import JSZip from jszip 3. 实现代码 api(option).then((res)>{ // 接口获取zip的数据流 l…...

编程日记 2023/9/14 21:40:22

人先自辱，而后人辱之

语出《孟 子.离娄上》“夫人必自街&#xff0c;而后人懈之;家必自毁&#xff0c;而后人毁之"。 自己不把自己当人看&#xff0c;别人肯定也不会。善待自己&#xff0c;接纳自己。 过去的不再留恋。 心平气和&#xff0c;气定神闲。 政治论述题&#xff0c;每一个题目&a…...

编程日记 2023/9/14 21:39:21

web端三维重建算法-colmap++

vismap vismap 是colmap 版本 &#xff08;1&#xff09; 支持superpoint superglue &#xff08;2&#xff09; 支持netvlad 图像检索 &#xff08;3&#xff09;支持特征点尺度定权 &#xff08;4&#xff09;支持二维码定位 &#xff08;5&#xff09;支持融合gps &#x…...

编程日记 2023/9/14 21:36:17

MyBatisPlus（二）基础Mapperr接口：增删改查

MyBatisPlus&#xff1a;基础Mapper接口&#xff1a;增删改查 插入一条数据 代码 Testpublic void insert() {User user new User();user.setId(6L);user.setName("张三");user.setAge(25);user.setEmail("zhangsanexample.com");userMapper.insert(use…...

编程日记 2023/9/14 21:35:17

基础项目实用案例

文章目录 倒计时动态生成表格发布留言密码框验证模态框拖拽 倒计时 function countDown(time) {var nowTime new Date();var inputTime new Date(time);var times (inputTime - nowTime) / 1000;var d parseInt(times / 60 / 60 / 24);d d < 10 ? 0 d : d;var h par…...

编程日记 2023/9/14 21:34:16

sprngboot整合kabana

Spring Boot是一个开源框架&#xff0c;可以基于Spring框架快速开发和构建生产级别的应用程序。Kibana是一个可视化和交互式分析平台&#xff0c;用于检索和分析Elasticsearch集群中存储的数据。 下面是Spring Boot整合Kibana的基本步骤&#xff1a; 添加Maven依赖 在pom.xm…...

编程日记 2023/9/14 21:31:13

PostgreSQL 数据备份恢复

文章目录 PostgreSQL 备份方式SQL备份&#xff08;逻辑备份&#xff09;文件系统备份&#xff08;物理备份&#xff09;归档备份&#xff08;物理备份&#xff09; 逻辑备份&恢复物理备份&恢复&#xff08;全量&#xff09;备份恢复 物理备份&恢复&#xff08;某个…...

编程日记 2023/9/14 21:30:13

线性代数的本质(七)——特征值和特征向量

特征值和特征向量 本章特征值和特征向量的概念只在方阵的范畴内探讨。 相似矩阵 Grant&#xff1a;线性变换对应的矩阵依赖于所选择的基。 一般情况下&#xff0c;同一个线性变换在不同基下的矩阵不同。仍然以平面线性变换为例&#xff0c;Grant 选用标准坐标系下的基向量 i…...

编程日记 2023/9/14 21:27:10

c语言进阶部分详解（指针初阶）

大家好&#xff01;&#xff0c;前段时间一直在准备数学建模竞赛&#xff0c;现在也是忙完了。抓紧继续给大家带来c语言的内容。今天给大家带来指针初阶部分的讲解 当我们谈论C语言中的指针时&#xff0c;实际上是在讨论一种非常重要的概念&#xff0c;因为指针是C语言的核心之…...

编程日记 2023/9/14 21:25:08

Socks5代理IP在跨境电商与网络游戏中的网络安全应用

在数字化时代&#xff0c;跨境电商和网络游戏已成为全球网络世界中的两大热门领域。然而&#xff0c;这两者都面临着相似的网络安全挑战&#xff0c;需要高效的网络代理来解决。本文将讨论Socks5代理IP在跨境电商和网络游戏中的关键作用&#xff0c;以及如何通过这一技术增强网…...

编程日记 2023/9/14 21:23:06

Gin框架---基础综述

目录 一&#xff1a;经典入门案例二&#xff1a;请求参数2.1: API参数2.2: URL参数2.3: 表单参数 三&#xff1a; 响应参数四&#xff1a;数据解析和绑定4.1: JSON数据解析绑定4.2: FROM表单数据解析和绑定 五&#xff1a; 路由组六&#xff1a;异步处理七&#xff1a;中间件7.…...

编程日记 2023/9/14 21:21:04

排序算法-快速排序

属性 快速排序是Hoare于1962年提出的一种二叉树结构的交换排序方法&#xff0c;其基本思想为&#xff1a;任取待排序元素序列中的某元 素作为基准值&#xff0c;按照该排序码将待排序集合分割成两子序列&#xff0c;左子序列中所有元素均小于基准值&#xff0c;右子序列中所有 …...

编程日记 2023/9/14 21:19:00

【Spring容器的启动过程】

Spring容器的启动过程 Spring 在初始化过程中有二个非常重要的步骤&#xff0c;容器的初始化与刷新。 初始化流程 如果想生成 bean 对象&#xff0c;那么就需要一个 beanFactory 工厂&#xff08;DefaultListableBeanFactory&#xff09;如果想让加了特定注解&#xff08;如 …...

编程日记 2023/9/14 21:16:59

普通二本+转专业学计算机是什么感受

目录 自我介绍转入前为什么转专业为什么转入机械专业 转入后转入后感受确定自学计算机自学计算机的时间分配 自我介绍 作者现在是大二,由于当时高考考砸了,分数在重本线左右,为了去一个稍微好一点的学校,于是填报了化学工程与工艺(并不是说这专业不好,只是填报化工更容易进这个…...

编程日记 2023/9/14 21:10:52

力扣1、两数之和

转到力扣 题目 给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可…...

编程日记 2023/9/14 21:07:49

摄影网站模板源码/百度搜不干净的东西

每天有数以百万计的人使用 Python &#xff0c;用户群呈现出指数级增长&#xff0c;几乎没有下降的趋势。无论在什么行业&#xff0c;为了获取更多的职业发展可能&#xff0c;Python 都成为了隐形的必备技能。那么&#xff0c;你学 Python 是否遇到过&#xff1a;初学 Python 一…...

编程日记 2025/1/14 18:03:55

武汉网站制作与建设/网页制作模板的网站

具体实现方法 第一步: 我们打开想要转载的博客&#xff0c;然后鼠标右键就会出现下面的菜单&#xff1a; 第二步: 点击【审查元素】&#xff0c;就会出现HTML页面的代码&#xff0c;或者&#xff1a;我们使用快捷键&#xff0c;直接按下F12 选中“article_content”&#…...

编程日记 2025/1/14 16:13:45

wordpress商业破解/实体店营销策划方案

1 增 ​​http://t.zoukankan.com/star521-p-13473616.html​​ 将查询结果插入数据库 insert into table_name select * from table_name; ​​为​​数据库表的字段添加描述 comment on column sys_user.user_name is 用户名; python中将DataFrame数据导入pgsql import …...

编程日记 2025/1/14 12:52:38

网站建设需求说明书举例/西安seo关键词查询

本章节主要介绍在 AWS 控制台窗口 如何创建一台 Amazon EC2 实例。 文章目录写在前面开始创建前进入控制台并启动 EC2 实例服务创建 EC2 实例详细步骤步骤 1&#xff1a;为所要创建的 EC2 实例个体命名步骤 2&#xff1a;选择 AMI步骤 3&#xff1a;选择实例类型步骤 4&#xf…...

编程日记 2025/1/14 8:54:31

网站怎么做可以再上面输入文字/seo引擎优化

Java的标准输入是指能够连接到计算机系统的键盘设备或其它字符输入终端。Java核心类System类成员属性in&#xff0c;负责从标准设备(键盘等)获取用户的输入&#xff0c;in的类型为InputStream&#xff0c;InputStream类主要用于从不同的输入源获取用户的输入数据&#xff0c;也…...

编程日记 2025/1/14 2:19:30

深圳有名的做公司网站/seo怎么优化武汉厂商

原标题&#xff1a;2017安徽事业单位考试备考资料:计算机知识(计算机操作系统)2017安徽事业单位考试备考资料:计算机知识(计算机操作系统)计算机操作系统计算机操作系统是管理计算机软件、硬件资源的系统软件&#xff0c;也是计算机系统的内核与基石。考生需了解操作系统的定义…...

编程日记 2025/1/14 1:53:16