当前位置：首页 > news >正文

DataX和dataX-web 集群部署及使用

news 文章来源：https://blog.csdn.net/qq_42496461/article/details/133611089 2025/1/4 15:26:03

📑 DataX和dataX-web 集群部署及使用

一 . 安装前准备

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX 采用框架 + 插件的模式：

插件只需关心数据的读取或者写入本身
同步时的共性问题，如类型转换，性能，统计由框架来处理

开发插件时只需要关注两个问题:

数据源本身读写的数据正确性
如何与框架沟通，合理正确地使用框架

逻辑执行模型：

Job：是DataX描述一个源头到一个目的端的同步作业，是DataX数据同步的最小业务单元。如将一张mysql表同步到odps一个表的分区
Task：是Job拆分得到的最小执行单元。如在同步一张1024哥分表的mysql分库分表的Job时，就可拆分成1024个读Task并发执行
TaskGroup：一组Task集合，在同一个TaskGroupContainer执行下的Task集合
JobContainer：Job执行器，负责job全局拆分，调度，前置语句和后置语句等工作的工作单元。类似Yarn中的JobTracker 调度Job的每一个子任务task运行于TaskTracker上
TaskGroupContainer：TaskGroup的执行器，负责一组Task的工作单元。类似Yarn中的TaskTrackerTaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。

框架为插件提供物理上的执行能力（线程）。框架有三种运行模式

Standalone：单线程运行，没有外部依赖
Local：单线程运行，统计信息，错误信息汇报到集中存储
Distributed：分布式多线程运行，依赖 DataX Service 服务

当 JobContainer和TaskGroupContainer 运行在同一个进程内时，就是单机模式（Standalone和local）；当他们分布在不同的进程中执行就是分布式（distributed）

datax-web 集群部署时单独起某一个功能 ./bin/start.sh -m datax-executor

datax二次开发

datax源码学习

datax二次开发打包

dataX、dataX-web安装部署 dataX集群模式

二 . 配置datax和datax-web

1 安装dataX

使用源码自定义打包

链接 datax 源码

 mvn -U clean package assembly:assembly -Dmaven.test.skip=true

路径在 /target/datax/datax/ 下面

(需要python环境及maven环境)

#测试命令
python bin/datax.py job/job.json

在这里插入图片描述

ps.如果是自己新增插件需要修改项目中的 package.xml 、pom.xml

在这里插入图片描述

2 安装datax-web

https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md

datax-web集群部署一个datax-web和多个datax-executor。确认datax安装的路径都是一样

启动datax-executor命令

./bin/stop.sh -m datax-executor

在这里插入图片描述

通过 module 下的 bin 下的日志能查到日志文件

在这里插入图片描述

1、通过界面的执行器管理能查到

在这里插入图片描述

2、data-web使用

data-web 的任务构建是负责自动生成dataX用的json文件，如果已经有json文件就不需要使用。

3、data-web简要使用

新建项目管理

在这里插入图片描述

查看执行器管理
新建任务管理
执行任务、查看日志

在这里插入图片描述

4、报错小记

在读mysql报错
在这里插入图片描述

在jdbc url增加配置在没有服务器身份验证的情况下建立SSL连接\设置useSSL=false来显式禁用SSL

jdbc:mysql://hostname:port/tsp-cloud?useSSL=false&useUnicode=true&characterEncoding=utf8

rl增加配置在没有服务器身份验证的情况下建立SSL连接\设置useSSL=false来显式禁用SSL

jdbc:mysql://hostname:port/tsp-cloud?useSSL=false&useUnicode=true&characterEncoding=utf8

DataX和dataX-web 集群部署及使用

📑 DataX和dataX-web 集群部署及使用一 . 安装前准备 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX 采用框架插件的模式…...

编程日记 2023/10/9 14:48:24

常见的数据存储方案：选择合适的方式来管理您的数据

对于数据存储方案的选择，是现代企业和个人都需要面对的重要决策。本文将为您介绍几种常见的数据存储方案，包括关系型数据库、NoSQL数据库以及分布式文件系统。通过了解每种方案的特点、操作方式和适用业务类型，希望能帮助您选择合适的数据存储…...

编程日记 2023/10/9 14:47:23

leetcode 221 最大正方形 + 1277 统计全为1的正方形子矩阵

题目在一个由 ‘0’ 和 ‘1’ 组成的二维矩阵内，找到只包含 ‘1’ 的最大正方形，并返回其面积。示例输入：matrix [[“1”,“0”,“1”,“0”,“0”],[“1”,“0”,“1”,“1”,“1”],[“1”,“1”,“1”,“1”,“1”],[“1”,“0”,“…...

编程日记 2023/10/9 14:45:20

yolov7车牌识别（12种中文车牌类型）

12种中文车牌类型： 1.单行蓝牌 2.单行黄牌 3.新能源车牌 4.白色警用车牌 5 教练车牌 6 武警车牌 7 双层黄牌 8 双层武警 9 使馆车牌 10 港澳牌车 11 双层农用车牌 12 民航车牌测试demo: 以yolov7-lite-s 为例: python detect_rec_plate.py --detect_model weigh…...

编程日记 2023/10/9 14:44:18

Mac PF命令防火墙

查看所有网络接口及其名称 ifconfig -a 文件目录：/etc/pf.conf 在文件末尾添加以下行： block drop from IP_ADDRESS其中，"IP_ADDRESS"是您要屏蔽的IP地址。输入以下命令以重新加载pf防火墙配置文件： sudo pfctl …...

编程日记 2023/10/9 14:43:17

prototype-based learning algorithm（原型学习）

Prototype-based learning（原型学习）是一种机器学习方法，它的核心思想是通过存储一组代表性的样本（原型），然后使用这些原型来进行分类、回归或聚类等任务。这种方法模拟了人类学习的方式，人们往…...

编程日记 2023/10/9 14:42:16

【数据结构-二叉树八】【遍历求和】：求根到叶子节点数字之和

废话不多说，喊一句号子鼓励自己：程序员永不失业，程序员走向架构！本篇Blog的主题是【遍历求和】，使用【二叉树】这个基本的数据结构来实现，这个高频题的站点是：CodeTop，筛选条件为&am…...

编程日记 2023/10/9 14:40:14

PHP知识大全

PHP知识大全 1. 变量如何定义？如何检查变量是否定义？如何删除一个变量？怎样检测变量是否设置？ $定义 isset()// 检测变量是否设置 defined（）// 检测常量是否设置unset()//销毁指定的变量 empty()// 检测…...

编程日记 2023/10/9 14:39:13

Jmeter常用参数化技巧总结！

说起接口测试，相信大家在工作中用的最多的还是Jmeter。 JMeter是一个100％的纯Java桌面应用，由Apache组织的开放源代码项目，它是功能和性能测试的工具。具有高可扩展性、支持Web(HTTP/HTTPS)、SOAP、FTP、JAVA 等多种协议。在做…...

编程日记 2023/10/9 14:38:11

iTunes更新iOS17出现发生未知错误4000的原因和解决方案

有不少人使用iTunes更新iOS 17时出现「无法更新iPhone发生未知的错误4000」的错误提示，不仅不知道iTunes升级失败的原因，也无从解决iPhone无法更新4000的问题。小编今天就分享iPhone更新iOS系统出现4000错误提示的原因和对应的解决方案。为什么iPhone…...

编程日记 2023/10/9 14:37:10

微信小程序 table表格固定表头和首列右侧表格可以左右滚动

(一) 1.左侧一列固定不动 2.右侧表格内容可以左右滚动 3.单元格内容平均分配 4.每一行行高可以由内容撑开通过 js 设置左侧一列行高与右侧表格内容行高保持一致 1.1 效果图 1.2 tabble.wxml <view classtable><view classtable_left_colum…...

编程日记 2023/10/9 14:36:09

Final Cut Pro 10.6.10中文用法儿

Final Cut Pro是一款专业视频编辑软件，主要用于影片的后期剪辑、调色、特效、音频处理等方面。 Final Cut Pro for Mac(fcpx视频剪辑) 10.6.10中文版以下是一些基本的使用方法和快捷键： 添加素材: 在检视器中，可以使用E快捷键把所选素材片…...

编程日记 2023/10/9 14:35:08

【网络安全---XSS漏洞（1）】XSS漏洞原理，产生原因，以及XSS漏洞的分类。附带案例和payload让你快速学习XSS漏洞

以pikachu靶场为例子进行讲解，pikachu靶场的搭建请参考以下博客； 【网路安全 --- pikachu靶场安装】超详细的pikachu靶场安装教程（提供靶场代码及工具）_网络安全_Aini的博客-CSDN博客【网路安全 --- pikachu靶场安装】超详细的pi…...

编程日记 2023/10/9 14:34:07

云计算：常用系统前端与后端框架

目录一、理论 1.前端 2.后端一、理论 1.前端 （1）JavaScript框架 JQuery.JS ZeptoJS(与jquery类似) SUI.Mobile Node.JS (服务端) angular.Js (模型，scope作用域，controller, 依赖注入，MVVM) :前端MVC . requir…...

编程日记 2023/10/9 14:33:06

asp.net闲置物品购物网系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio

一、源码特点 asp.net闲置物品购物网系统是一套完善的web设计管理系统，系统具有完整的源代码和数据库，系统主要采用B/S模式开发。开发环境为vs2010，数据库为sqlserver2008，使用c#语言开发 asp.net 闲置物品购物网二、功…...

编程日记 2023/10/9 14:32:05

一般纳税人缺少进项票，如何降低税负压力？

《梅梅谈税》专注于企业税务筹划！助力企业合理、合规、合法进行节税税收筹划！ 大部分一般纳税人企业通常都存在进项和成本发票欠缺的问题，而进项发票欠缺，就会导致企业的增值税和企业所得税税负压力过大，那么如何解决…...

编程日记 2023/10/9 14:31:04

UniAD 论文学习

一、解决了什么问题？ 当前的自动驾驶方案大致由感知（检测、跟踪、建图）、预测（motion、occupancy）和规划三个模块构成。为了实现各种功能，智驾方案大致包括两种路线。一种是针对每个任务都部署一个模型&a…...

编程日记 2023/10/9 14:30:03

（c语言）用冒泡排序模拟实现qsort()函数交换整数

#include<stdio.h> int cmp(const void* x1, const void* x2) { return (*(int*)x1 - *(int*)x2); } void Swap(char* x, char* y, int width) //将两个数改为char*类型，每次只交换一个字节,直到将int*的四个字节全部交换一遍 { int i 0; f…...

编程日记 2023/10/9 14:29:02

【Java-LangChain:使用 ChatGPT API 搭建系统-11】用 ChatGPT API 构建系统总结篇

第十一章，用 ChatGPT API 构建系统总结篇本课程详细介绍了 LLM 工作原理，包括分词器（tokenizer）的细节、评估用户输入的质量和安全性的方法、使用思维链作为 Prompt、通过链式 Prompt 分割任务以及返回用户前检查输出等。本课…...

编程日记 2023/10/9 14:26:59

3D 生成重建004-DreamFusion and SJC ：TEXT-TO-3D USING 2D DIFFUSION

3D 生成重建004-DreamFusion and SJC ：TEXT-TO-3D USING 2D DIFFUSION 文章目录 0 论文工作1 论文方法1.1论文方法1.2 CFG1.3影响1.4 SJC 2 效果 0 论文工作对于生成任务，我们是需要有一个数据样本，让模型去学习数据分布 p ( x ) p(x) p(x…...

编程日记 2023/10/9 14:25:58

机械臂抓取的产业落地进展与思考

工业机械臂是一种能够模拟人类手臂动作的机械装置，具有高精度、高速度和高灵活性的特点。近年来，随着人工智能和机器人技术的快速发展，机械臂在工业生产、物流仓储、医疗护理等领域得到了广泛应用。机械臂抓取技术作为机械臂的核心功能之一&a…...

编程日记 2023/10/9 14:23:56

【RuoYi-Cloud项目研究】【ruoyi-auth模块】登录请求（/login）分析

文章目录 0. 网关如何处理登录请求1. Controller1.1. 获取用户信息1.2. 创建用户的token 2. Service2.1. FeignClient远程查询用户信息2.2. 验证密码 3. 何时刷新 token，如何刷新【本文重点】本文主要是分析登录请求 /login 的过程。调用过程是：ruoyi-…...

编程日记 2023/10/9 14:22:55

Git 学习笔记 | Git 项目创建及克隆

Git 学习笔记 | Git 项目创建及克隆 Git 学习笔记 | Git 项目创建及克隆创建工作目录与常用指令本地仓库搭建克隆远程仓库 Git 学习笔记 | Git 项目创建及克隆创建工作目录与常用指令工作目录（WorkSpace)一般就是你希望Git帮助你管理的文件夹，可以是…...

编程日记 2023/10/9 14:21:54

C++默认参数（实参）

在本文中，您将学习什么是默认参数，如何使用它们以及使用它的必要声明。在C 编程中，您可以提供函数参数的默认值。默认参数背后的想法很简单。如果通过传递参数调用函数，则这些参数将由函数使用。但是，如果在调用函数时…...

编程日记 2023/10/9 14:20:53

允许写入的SQL SET IDENTITY_INSERT table_name ON;-- 插入数据，指定主键值 INSERT INTO table_name (id, column1, column2, ...) VALUES (new_id_value, value1, value2, ...);SET IDENTITY_INSERT table_name OFF; 写入插件处理核心类：com.alibab…...

编程日记 2023/10/9 14:19:52

C++开发学习笔记3

C 中枚举的使用在C中，枚举常量（Enumeration Constants）是一种定义命名常量的方式。枚举类型允许我们为一组相关的常量赋予有意义的名称，并将它们作为一个独立的类型来使用。以下是定义和使用枚举常量的示例： enum…...

编程日记 2023/10/9 14:15:48

计算机中常说的SDK是什么意思？

SDK是Software Development Kit的英文缩写，意思是软件开发包。软件开发包中往往包含有多种辅助进行软件开发的内容，包括一些软件开发工具、文档说明、库和示例代码。这些内容能够帮助使用SDK进行软件开发的人员更好地开发程序。 SDK的作用就是简化软件…...

编程日记 2023/10/9 14:14:48

漏刻有时数据可视化大屏(16)数据指标KPI和柱图折线图混排

CSS样式表 /*面板*/ .pannel {width: 100%;margin-top: 30px;clear: both; }.item_l {float: left;width: 20%; /*3格60%*/margin: 0; }.item_r {float: left;width: 10%; /*4格40%*/margin: 0; }.item_child {float: left;width: 50%; }.item_child_b {float: left;width: 10…...

编程日记 2023/10/9 14:12:45

📑 DataX和dataX-web 集群部署及使用

一 . 安装前准备

二 . 配置datax和datax-web

1 安装dataX

2 安装datax-web

1、通过界面的执行器管理能查到

2、data-web使用

3、data-web简要使用

4、报错小记

相关文章：