Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
- 一、背景
- 二、查找数据丢失流程
- 三、数据丢失原因
- 四、解决方法
一、背景
- 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因
数据丢失一般常见需求排查的方向：
- 数据是否采集到hdfs上
- 采集到hdfs的话，进一步去确认数据是否是因为Spark任务资源不够导致没有加载到hive表中
- 数据没有采集到的话，进一步定位分析没有采集到的原因，目前比较常见的是数据库原因导致、业务场景导致
二、查找数据丢失流程
- 首先拿一条丢失数据的id，去确认这条数据是否采集到hdfs上，发现成功采集到了hdfs上
- 观察hdfs文件生成时间，发现这张表的数据文件生成时间比较晚
- 初步判断出现了数据库主从延迟或者采集延迟，但是spark任务会等到主从延迟或者采集延迟结束才会执行，这样应该能确保不会遗漏数据，进一步确认任务执行情况
- 发现spark任务并没有出现延迟执行的情况，因此就出现了特殊情况
- 再去查看数据库中其他表的采集情况，发现其他表的hdfs数据文件生成并没有延迟，这就说明只有这张数据丢失的表产生了采集延迟，进一步排查分析这张表
- 发现丢失数据这张表近一天的hdfs文件生成时间是在同一时间点生成的，这表明近一天的数据是在同一时间采集到了hdfs
- 查看这张数据丢失表数据情况，发现这张表在不同小时的数据工用了相同的gtid，这表明这些数据来自同一个事件
- 进一步查看数据库其他表在不同小时gtid的情况，通过比较gtid，发现丢失数据这张表使用的gtid符合递增情况
- 至此，基本找到数据没有加载到hive的原因 <
相关文章：
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因
Debezium系列之：记录一次数据库某张表部分数据未同步到hive表的原因 一、背景二、查找数据丢失流程三、数据丢失原因四、解决方法一、背景 反馈mysql数据库中某张表的数据没有同步到hive中，现在需要排查定位下原因数据丢失一般常见需求排查的方向： 数据是否采集到hdfs上采集…...
爆破器材期刊
《爆破器材》简介 《爆破器材》自1958年创刊以来，深受广大读者喜爱，是中国兵工学会主办的中央级技术刊物，在国内外公开发行，近几年已发行到10个国家和地区。《爆破器材》杂志被美国著名检索机构《化学文摘》（CA&a…...
Nginx Websocket 协议配置支持
前后分离的 Web 架构应用，在开发环境启动是可以直接连接支持 websocket 协议，因为没有中间件做转发处理。 当我们对前端进行编译后，通过 nginx 反向代理访问时，需要在nginx 配置文件中增加一些特定的头信息，让服务端识…...
【生成式对抗网络】GANs在数据生成、艺术创作，以及在增强现实和虚拟现实中的应用
一、GANs在数据生成中的应用 生成对抗网络（Generative Adversarial Networks, GANs）在数据生成领域具有显著的应用价值。GANs通过生成器（Generator）和判别器（Discriminator）两个相互竞争的神经网络&#x…...
大模型面试（三）
这次是某家公司的一个电话面试，问的过程还比较简单直接。 问：我们在大模型开源项目的应用上遇到了什么困难？ 这个。。有两个困难，一个是RAG的优化，一开始RAG是比较慢的，而且召回率不高； 后来…...
pycharm中快捷键汇总
Pycarm指令汇总 Ctrl鼠标 单击，能直接查看其用法 Ctrl/ 快速注释 CtrlC 在pycharm的terminal中可以停止运行, 其他的地方可以复制。 CtrlV 粘贴 CtrlA 全选 CtrlP 查看（）中需要填写什么参数 Altenter 自动不补全所需要的库...
TCP/IP协议族结构和协议
TCP/IP协议族是互联网及许多其他网络的基础，它由一系列相互关联的协议组成，用于实现网络通信。TCP/IP协议族采用ARPANET参考模型，大致可以分为四个层次：链路层、网络层、传输层和应用层。每个层次都有特定的协议和功能，确保数据能够从一个网络设备传输到另一个网络设备。 …...
大模型一些概念的理解 - 线性层、前向传播、后向传播
文章目录 前言一、线性层1. 什么是线性层？2. 通俗解释3. 示例 二、前向传播1. 什么是前向传播？2. 通俗解释3. 示例 三、后向传播1. 什么是后向传播？2. 通俗解释3. 具体步骤 四、示例五、在 PyTorch 中的后向传播 前言 最近提问里有问到一些名…...
AWS 云安全性：检测 SSH 暴力攻击
由于开源、低成本、可靠性和灵活性等优势，云基础设施主要由基于linux的机器主导，然而，它们也不能幸免于黑客的攻击，从而影响云的安全性。攻击Linux机器最流行的方法之一是通过SSH通道。 什么是 SSH 安全外壳协议（Sec…...
7.9数据结构
思维导图 作业 doubleloop.h #ifndef __DOUBLELOOP_H__ #define __DOUBLELOOP_H__#include <stdio.h> #include <stdlib.h>typedef int datatype; typedef struct node {union{int len;datatype data;};struct node *pri;//前驱指针struct node *next;//后继指针…...
Python 文件操作：打开数据处理的大门
在 Python 的学习之旅中，文件操作是一个非常实用且必不可少的技能。不论是数据分析还是日常的数据处理，良好的文件操作技巧都能让你的编程之路更加顺畅。今天，我将带你走进 Python 文件操作的世界，不仅教你如何读写文件࿰…...
单对以太网连接器多场景应用
单对以太网连接器应用场景概述 单对以太网（Single Pair Ethernet，简称SPE）作为一种新兴的以太网技术，以其独特的优势在多个领域得到了广泛的应用。SPE通过单对电缆进行数据传输，支持高速数据传输，同时还能…...
Python pip的更新问题
你是否也出现了更新pip的情况 1、提示更新pip版本 pip install --upgrade pip2、更新操作，我操作了 pip install --upgrade pip更新了，等啊等。。。 然后就是连接超时，安装失败 3、我不信，我就要更新，我还要使用镜…...
[Linux][Shell][Shell基础] -- [Shebang][特殊符号][变量][父子Shell]详细讲解
目录 0.前置知识1.Shebang2.Linux特殊符号整理3.变量4.环境变量5.父子shell0.概念1.创建进程列表(创建子shell执行命令) 6.内置命令 vs 外置命令 0.前置知识 #用于注释shell脚本语⾔属于⼀种弱类型语⾔：⽆需声明变量类型，直接定义使⽤shell三剑客&#…...
DS200CVMAG1AEB处理器 控制器 模块
DS200CVMAG1AEB特征： 高性能：采用先进的控制算法和高功率IGBT器件，可提供高电流和精确的运动控制。 高精度：采用高分辨率编码器和位置环路技术，位置精度可达0.1μm，适用于各种精密机械应用，如数…...
阈值分割后配合Connection算子和箭头工具快速知道区域的ID并选择指定区域
代码 dev_close_window () read_image (Image, E:/机器视觉学习/海康视觉平台/二期VM视觉学习/二期VM视觉学习/机器视觉程序/标定相机找圆心和焊头修正相机找圆心之算法软件/标定相机找圆心和焊头修正相机找圆心之算法软件/03 标定相机找圆心/S2/1号机/1.bmp) get_image_size …...
【work】AI八股-神经网络相关
Deep-Learning-Interview-Book/docs/深度学习.md at master amusi/Deep-Learning-Interview-Book GitHub 网上相关总结： 小菜鸡写一写基础深度学习的问题（复制大佬的，自己复习用） - 知乎 (zhihu.com) CV面试问题准备持续更新贴 …...
【LeetCode】12. 小张刷题计划
稳住，能赢！没有经验的同学在面试岗位的时候，总是显得手忙脚乱，所以多练习，把技能提升，眼界提升，接着心态放平和，不要慌张，把面试题目读懂读透彻就会大大提升赢的概率。 1…...
Tomcat部署以及优化
1、tomcat tomcat是用java代码的程序，运行的是java的web服务器 tomcat和php一样都是用来处理动态页面，tomcat也可以做为web应用服务器，开源的 php处理.php为结尾的 tomcat 处理.jsp nginx 处理 .html 2、tomcat的特点和功能 1、servle…...
ubuntu 22 安装 lua 环境 编译lua cjson 模块
在 windows 下使用 cygwin 编译 lua 和 cjson 简直就是灾难，最后还是到 ubuntu 下完成了。 1、下载lua源码（我下载的 5.1 版本，后面还有一个小插曲), 直接解压编译，遇到一个 readline.h not found 的问题，需要安装 re…...
ESP32 I2S音频总线学习笔记（四）： INMP441采集音频并实时播放
简介 前面两期文章我们介绍了I2S的读取和写入，一个是通过INMP441麦克风模块采集音频，一个是通过PCM5102A模块播放音频，那如果我们将两者结合起来，将麦克风采集到的音频通过PCM5102A播放，是不是就可以做一个扩音器了呢…...
智能仓储的未来：自动化、AI与数据分析如何重塑物流中心
当仓库学会“思考”，物流的终极形态正在诞生 想象这样的场景： 凌晨3点，某物流中心灯火通明却空无一人。AGV机器人集群根据实时订单动态规划路径；AI视觉系统在0.1秒内扫描包裹信息；数字孪生平台正模拟次日峰值流量压力…...
tree 树组件大数据卡顿问题优化
问题背景 项目中有用到树组件用来做文件目录，但是由于这个树组件的节点越来越多，导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多，导致的浏览器卡顿，这里很明显就需要用到虚拟列表的技术&…...
Leetcode33（ 搜索旋转排序数组）
题目表述 整数数组 nums 按升序排列，数组中的值 互不相同 。 在传递给函数之前，nums 在预先未知的某个下标 k（0 < k < nums.length）上进行了 旋转，使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...
c# 局部函数 定义、功能与示例
C# 局部函数：定义、功能与示例 1. 定义与功能 局部函数（Local Function）是嵌套在另一个方法内部的私有方法，仅在包含它的方法内可见。 • 作用：封装仅用于当前方法的逻辑，避免污染类作用域，提升…...
stm32wle5 lpuart DMA数据不接收
配置波特率9600时，需要使用外部低速晶振...
基于 HTTP 的单向流式通信协议SSE详解
SSE（Server-Sent Events）详解 🧠 什么是 SSE？ SSE（Server-Sent Events） 是 HTML5 标准中定义的一种通信机制，它允许服务器主动将事件推送给客户端（浏览器）。与传统的 H…...
Excel 怎么让透视表以正常Excel表格形式显示
目录 1、创建数据透视表 2、设计 》报表布局 》以表格形式显示 3、设计 》分类汇总 》不显示分类汇总 1、创建数据透视表 2、设计 》报表布局 》以表格形式显示 3、设计 》分类汇总 》不显示分类汇总...
WinUI3开发_使用mica效果
简介 Mica(云母)是Windows10/11上的一种现代化效果，是Windows10/11上所使用的Fluent Design(设计语言)里的一个效果，Windows10/11上所使用的Fluent Design皆旨在于打造一个人类、通用和真正感觉与 Windows 一样的设计。 WinUI3就是Windows10/11上的一个…...
SDU棋界精灵——硬件程序ESP32实现opus编码
一、 音频处理框架 该项目基于Espressif的音频处理框架构建，核心组件包括 ESP-ADF 和 ESP-SR，以下是完整的音频处理框架实现细节： 1.核心组件 (1) 音频前端处理 (AFE - Audio Front-End) main/components/audio_pipeline/afe_processor.c功能： 声学回声…...