当前位置： 首页 > news >正文

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

news 文章来源：https://blog.csdn.net/DolphinScheduler/article/details/132346681 2024/11/16 14:26:57

file

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2，如果在业务中需要更好的性能和扩展性，可以在DolphinScheduler中使用OceanBase数据库作为元数据库进行替换。节点数量和规模可以自由调整，实现无缝扩展和缩减。

一. OceanBase数据库

OceanBase数据库是阿里巴巴自主研发的分布式关系型数据库，具有以下特点：

  1. 分布式架构：OceanBase采用分布式架构，可水平扩展，支持PB级别的数据存储和处理。

  2. 高可用性：OceanBase采用分布式副本机制，实现数据的冗余备份，保证在节点故障时仍能提供可用的服务。

  3. 高性能：OceanBase采用多维度优化技术，包括数据存储、查询优化、分布式事务等方面，可大幅提升数据库的性能。

  4. 强一致性：OceanBase采用基于Paxos协议的多副本一致性算法，实现强一致性的分布式事务处理。

  5. 兼容SQL：OceanBase支持标准的SQL语言，包括DDL、DML和DQL等命令。

  6. 可扩展性：OceanBase支持在线扩容和缩容，可根据业务需求自由调整节点数量和规模。

  7. 安全性：OceanBase采用多层安全策略，包括密码加密、数据加密、访问控制等，保障数据库的安全性。

总之，OceanBase数据库具有高可用、高性能、强一致性等特性，适用于大规模、高并发的业务场景。

二. DolphinScheduler支持OceanBase数据源

在DolphinScheduler中使用OceanBase做数据源在调度业务上的优势：

  1. 高性能：OceanBase可以处理大规模数据，而且在数据存储和处理方面都采用了多维度优化技术，所以相对于其他数据库，其有更高的性能表现，可以快速地处理数据。

  2. 高可靠性：OceanBase是一个分布式数据库，通过多节点的数据冗余备份，当某个节点发生故障时能够自动切换，保证服务的高可靠性。

  3. 事务处理：如果业务需要原子性的操作，OceanBase可以提供强一致性的分布式事务处理，从而保证数据不会出现不一致的情况。

  4. 分布式调度：DolphinScheduler自身是分布式任务调度系统，和OceanBase分布式架构相互匹配，可以充分利用Oceanbase的分布式特性，提供更高效率的调度服务。

  5. 可扩展性：DolphinScheduler和OceanBase都支持在线扩容和缩容，可以根据业务需求自由调整节点数量和规模，实现无缝扩展和缩减。

使用OceanBase作为数据源可以带来高性能、高可靠性、高安全性和强大的扩展性，和DolphinScheduler结合使用，将会为调度业务的稳定性、可靠性、可扩展性带来更优秀的表现。

三. OceanBase具体兼容Mysql的哪些特性

  1. 数据类型：OceanBase支持MySQL的常见数据类型，如整数、浮点数、日期和时间、字符串等。

  2. SQL语法：OceanBase支持MySQL的常见SQL语句，如SELECT、INSERT、UPDATE、DELETE等命令。

  3. 存储引擎：OceanBase支持InnoDB存储引擎，从而可以兼容MySQL的事务和锁定特性。

  4. 存储过程：OceanBase支持MySQL的存储过程特性，包括存储过程、存储函数和存储触发器等。

  5. 工具和驱动：OceanBase支持MySQL的常见工具和驱动，如MySQL Workbench、Navicat和JDBC等。

四. DolphinScheduler更换为OceanBase元数据库的步骤

  1. 创建OceanBase数据源，包括主机地址、端口号、用户名、密码等信息；

阿里公有云：在阿里云官网申请公有云的OceanBase实例，申请成功后可在控制台-云数据库OceanBase版-实例列表页面看到状态为运行中的实例：

file

进入实例可以看到数据库实例和下方的代理私网、公网地址；右上角可以新建数据库和新建账号，非超级账号需要在账号管理页面修改权限才可访问数据库，此账号和密码会作为服务内连接OceanBase数据库的数据库账号密码： file

创建成功后在面板登陆数据库或使用其他数据源连接工具或使用命令行登陆数据库并执行SQL验证是否可用： file

  1. 进入OceanBase后创建DolphinScheduler数据库，执行表初始化SQL文件： dolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql；

file

file

  1. 修改DolphinScheduler的配置文件，将原有的MySQL数据源替换成新的OceanBase数据源；

本地启动Api服务：修改dolphinscheduler-api模块配置文件中的数据库地址

file

本地启动Standalone服务：修改dolphinscheduler-standalone-server模块配置文件中的数据库地址

同上

服务器部署：修改 /apache-dolphinscheduler-3.1.2-bin/bin/env/dolphinscheduler_env.sh中的数据库地址

file

  1. 启动DolphinScheduler，正常访问登陆并其他模块都可正常操作即可验证OceanBase元数据库连接成功且正常使用：

file

五. 切换过程中需要注意哪些事项

1.外键约束

在使用DolphinSchedulerSQL文件dolphinscheduler_mysql.sql初始化数据库时，SQL的开始会设置 SET FOREIGN_KEY_CHECKS=0 不检查外键约束，需要注意的是OceanBase社区版4.0之前是不支持DDL语句的外键约束的。例官方版本V3.1.1，

所以在这里我们要注意下OceanBase的版本兼容性。

file

2. 数据迁移后插入报错

报错信息如下:

报错信息

Caused by: java.lang.ArrayIndexOutOfBoundsException: 0at com.mysql.cj.protocol.a.NativePacketPayload.readInteger(NativePacketPayload.java:398)at com.mysql.cj.protocol.a.NativePacketPayload.readString(NativePacketPayload.java:605)at com.mysql.cj.protocol.a.NativeServerSessionStateController$NativeServerSessionStateChanges.init(NativeServerSessionStateController.java:112)at com.mysql.cj.protocol.a.result.OkPacket.parse(OkPacket.java:66)at com.mysql.cj.protocol.a.NativeProtocol.readServerStatusForResultSets(NativeProtocol.java:1691)at com.mysql.cj.protocol.a.TextResultsetReader.read(TextResultsetReader.java:116)at com.mysql.cj.protocol.a.TextResultsetReader.read(TextResultsetReader.java:48)at com.mysql.cj.protocol.a.NativeProtocol.read(NativeProtocol.java:1600)at com.mysql.cj.protocol.a.NativeProtocol.readAllResults(NativeProtocol.java:1654)at com.mysql.cj.protocol.a.NativeProtocol.sendQueryPacket(NativeProtocol.java:1000)at com.mysql.cj.NativeSession.execSQL(NativeSession.java:666)at com.mysql.cj.jdbc.ClientPreparedStatement.executeInternal(ClientPreparedStatement.java:930)... 157 common frames omitted

这种情况在切换为OceanBase数据库之后在数据插入时可能会发生。初始化数据时部分数据会带着ID将数据插入表中，之后再次插入数据此时默认主键自增从0开始，这时会出现默认自增步长从10001开始的情况如下：

file

六. 总结

DolphinScheduler本身是一个非常强大的分布式调度系统，它可以帮助您轻松管理和调度大规模的数据任务。而当它与OceanBase结合使用时，它可以为您提供更具弹性、更安全、更可靠的数据存储方式。这种组合可以帮助您更好地解决大规模数据任务管理和调度的问题，同时提高您的工作效率和任务应用的可靠性。因此，如果您正在使用DolphinScheduler来管理和调度数据任务，强烈建议您尝试使用OceanBase作为其元数据库，让您的任务应用变得更加高效和可靠。

本文由 白鲸开源科技 提供发布支持！

相关文章：

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

DolphinScheduler是一个开源的分布式任务调度系统，拥有分布式架构、多任务类型、可视化操作、分布式调度和高可用等特性，适用于大规模分布式任务调度的场景。目前DolphinScheduler支持的元数据库有Mysql、PostgreSQL、H2，如果在业务中需要更好…...

编程日记 2023/8/21 8:49:54

matlab使用教程(17)—广度优先和深度优先搜索

1.可视化广度优先搜索和深度优先搜索 此示例说明如何定义这样的函数：该函数通过突出显示图的节点和边来显示 bfsearch 和 dfsearch 的可视化结果。 创建并绘制一个有向图。 s [1 2 3 3 3 3 4 5 6 7 8 9 9 9 10]; t [7 6 1 5 6 8 2 4 4 3 7 1 6 8 2]; G dig…...

编程日记 2023/8/21 8:48:53

CSerialPort教程4.3.x (2) - CSerialPort源码简介

CSerialPort教程4.3.x (2) - CSerialPort源码简介 前言 CSerialPort项目是一个基于C/C的轻量级开源跨平台串口类库，可以轻松实现跨平台多操作系统的串口读写，同时还支持C#, Java, Python, Node.js等。 CSerialPort项目的开源协议自 V3.0.0.171216 版本…...

编程日记 2023/8/21 8:47:52

【数据结构OJ题】有效的括号

原题链接：https://leetcode.cn/problems/valid-parentheses/ 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 这道题目主要考查了栈的特性： 题目的意思主要是要做到3点匹配：类型、顺序、数量。 题目给的例子是比较…...

编程日记 2023/8/21 8:46:49

Java性能分析中常用命令和工具

当涉及到 Java 性能分析时，有一系列强大的命令和工具可以帮助开发人员分析应用程序的性能瓶颈、内存使用情况和线程问题。以下是一些常用的 Java 性能分析命令和工具，以及它们的详细说明和示例。 以下是一些常用的性能分析命令和工具汇总： …...

编程日记 2023/8/21 8:45:47

JVM性能分析-jstat工具观察gc频率

jstat jstat是java自带的工具&#xff0c;在bin目录下 用法 语法&#xff1a;jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]] [kqkyyj-2 bin]$ jstat -help Usage: jstat -help|-optionsjstat -<option> [-t] [-h&l…...

编程日记 2023/8/21 8:44:46

mysql 查询报错 1267 - Illegal mix of collations

mysql 查询报错 1267 - Illegal mix of collations 详细报错: 1267 - Illegal mix of collations (utf8mb4_0900_ai_ci,IMPLICIT) and (utf8mb4_unicode_ci,IMPLICIT) for 主要的原因其实就是两张表的字符集不一样改一下就行了。 注: 改了表还是报错的话,那就是表内的字段没有…...

编程日记 2023/8/21 8:43:44

【ARM】Day6

cotex-A7核UART总线实验 1. 键盘输入一个字符‘a’&#xff0c;串口工具显示‘b’ 2. 键盘输入一个字符串"nihao"&#xff0c;串口工具显示“nihao” uart.h #ifndef __UART4_H__ #define __UART4_H__#include "stm32mp1xx_rcc.h" #include "stm3…...

编程日记 2023/8/21 8:42:42

深入理解Flink Mailbox线程模型

文章目录 整体设计processMail1.Checkpoint Tigger2.ProcessingTime Timer Trigger processInput兼容SourceStreamTask 整体设计 Mailbox线程模型通过引入阻塞队列配合一个Mailbox线程的方式&#xff0c;可以轻松修改StreamTask内部状态的修改。Checkpoint、ProcessingTime Ti…...

编程日记 2023/8/21 8:41:40

Docker搭建LNMP运行Wordpress平台

一、项目1.1 项目环境1.2 服务器环境1.3 任务需求 二、Linux 系统基础镜像三、Nginx1、建立工作目录2、编写 Dockerfile 脚本3、准备 nginx.conf 配置文件4、生成镜像5、创建自定义网络6、启动镜像容器7、验证 nginx 四、Mysql1、建立工作目录2、编写 Dockerfile3、准备 my.cnf…...

编程日记 2023/8/21 8:40:39

10个常见渐变交互效果

1、透明度渐变背景交互 <div class"fade-background"></div> Copy .fade-background {width: 200px;height: 200px;background: linear-gradient(to bottom, rgba(255, 0, 0, 0), rgba(255, 0, 0, 1));transition: background 0.5s ease; }.fade-backgro…...

编程日记 2023/8/21 8:39:37

[线程/C]基础

文章目录 1. 线程介绍2. 创建线程2.1 线程函数2.2 创建线程 3. 线程退出4. 线程回收4.1 线程函数4.2 回收子线程数据4.2.1 使用子线程栈4.2.2 使用全局变量4.2.3 使用主线程栈 5. 线程分离6. 其他线程函数6.1 线程取消6.2 线程ID的比较 1. 线程介绍 线程是轻量级的进程&#x…...

编程日记 2023/8/21 8:38:36

Spring Clould 负载均衡 - Ribbon

视频地址&#xff1a;微服务&#xff08;SpringCloudRabbitMQDockerRedis搜索分布式&#xff09; Ribbon-负载均衡原理&#xff08;P14&#xff09; 具体实现时通过LoaBalanced注解实现&#xff0c;表示RestTemplate要被Ribbon拦截处理 orderservice调用user时候&#xff0c…...

编程日记 2023/8/21 8:37:35

活用DNS技术实现相同IP的不同端口映射不同域名

WindowsDNS基本配置 在内网的 Windows 服务器环境中&#xff0c;你可以通过配置 DNS 服务和 Web 服务器来实现所需的域名解析和端口转发。如下是一些基本的步骤来实现配置&#xff1a; 1&#xff0c;配置 Windows DNS 服务 在你的 Windows 服务器上配置 DNS 服务&#xff0c…...

编程日记 2023/8/21 8:36:34

AutoHotkey：定时删除目录下指定分钟以前的文件，带UI界面

删除指定目录下&#xff0c;所有在某个指定分钟以前的文件&#xff0c;可以用来清理经常生成很多文件的目录&#xff0c;但又需要保留最新的一部分文件 支持拖放目录到界面 能够记忆设置&#xff0c;下次启动后不用重新设置&#xff0c;可以直接开始 应用场景比如&#xff1a…...

编程日记 2023/8/21 8:35:32

一文学会sklearn中的交叉验证的方法

前言 在机器学习中&#xff0c;我们经常需要评估模型的性能。而为了准确评估模型的性能&#xff0c;我们需要使用一种有效的评估方法。五折交叉验证&#xff08;5-fold cross-validation&#xff09;就是其中一种常用的模型评估方法&#xff0c;用于评估机器学习模型的性能和泛…...

编程日记 2023/8/21 8:34:28

【MySQL面试题（66道）】

文章目录 MySQL面试题(66道)基础1.什么是内连接、外连接、交叉连接、笛卡尔积呢&#xff1f;2.那 MySQL 的内连接、左连接、右连接有有什么区别&#xff1f;3.说一下数据库的三大范式&#xff1f;4.varchar 与 char 的区别&#xff1f;5.blob 和 text 有什么区别&#xff1f;6.…...

编程日记 2023/8/21 8:33:27

CSSCI、北核期刊投稿指南（2023年更新）

该数据为经管类的期刊投稿指南&#xff0c;包含发表难度&#xff0c;文章数量&#xff0c;影响因子&#xff0c;用户评价等指标。共5份文件&#xff0c;分别为国内所有期刊信息库、投稿指南&#xff08;CSSCI版本、CSSCI扩展版本、北大核刊版本、建议期刊版本&#xff09; 一、…...

编程日记 2023/8/21 8:32:22

构建 NodeJS 影院微服务并使用 docker 部署它（02/4）

一、说明 构建一个微服务的电影网站&#xff0c;需要Docker、NodeJS、MongoDB&#xff0c;这样的案例您见过吗&#xff1f;如果对此有兴趣&#xff0c;您就继续往下看吧。 图片取自网络 — 封面由我制作 这是✌️“构建 NodeJS 影院微服务”系列的第二篇文章。 二、对第一部分的…...

编程日记 2023/8/21 8:31:21

HTML ＜style＞ 标签

实例 <html> <head> <style type="text/css"> h1 {color:red} p {color:blue} </style> </head><body> <h1>Header 1</h1> <p>A paragraph.</p> </body> </html>定义和用法 <style>…...

编程日记 2023/8/21 8:30:19

设计模式——迪米特法则

文章目录 基本介绍应用实例应用实例改进迪米特法则注意事项和细节 基本介绍 一个对象应该对其他对象保持最少的了解类与类关系越密切&#xff0c;耦合度越大迪米特法则(Demeter Principle)又叫最少知道原则&#xff0c;即一个类对自己依赖的类知道的越少越好。也就是说&#x…...

编程日记 2023/8/21 8:29:17

区块链基本概念与当前生态简介

区块链是一种去中心化的分布式账本技术&#xff0c;它通过将数据按照时间顺序链接成区块&#xff0c;并使用密码学算法确保数据的安全性和完整性。每个区块包含一定数量的交易记录&#xff0c;而且每个区块都包含了前一个区块的哈希值&#xff0c;这样形成了一个不可篡改的链式…...

编程日记 2023/8/21 8:28:16

mac安装lrzsz出错Command failed with exit 128: git

终端检查电脑是否安装了rz和sz which sz若报错&#xff0c;则需要下载。由于网络和代理的原因&#xff0c;以下命令会报错&#xff1a; brew install lrzsz是因为brew和git配置的代理存在冲突&#xff0c;对于无外网链接功能&#xff0c;无特殊配置的git而言&#xff0c;需要…...

编程日记 2023/8/21 8:27:12

“深入探索JVM内部机制：揭秘Java虚拟机“

标题&#xff1a;深入探索JVM内部机制&#xff1a;揭秘Java虚拟机 摘要&#xff1a;本文将深入探索Java虚拟机&#xff08;JVM&#xff09;的内部机制&#xff0c;从内存管理、垃圾回收、即时编译等方面进行详细剖析。通过了解JVM的工作原理&#xff0c;我们可以更好地理解Jav…...

编程日记 2023/8/21 8:26:11

lvs-DR

lvs-DR数据包流向分析 client向目标VIP发出请求。 DIR根据负载均衡算法一台active的RS&#xff08;RIR1&#xff09;&#xff0c;将RIP1所在的网卡的mac地址作为目标的mac地址&#xff0c;发送到局域网里。 RIRI在局域网中的收到这个帧&#xff0c;拆开后发现目标&#xff08…...

编程日记 2023/8/21 8:25:09

Vue 项目运行 npm install 时，卡在 sill idealTree buildDeps 没有反应

解决方法&#xff1a;切换到淘宝镜像。 以下是之前安装的 xmzs 包&#xff0c;用于控制切换淘宝镜像。 该截图是之前其他项目切换淘宝镜像的截图。 切换镜像后&#xff0c;顺利执行 npm install 。...

编程日记 2023/8/21 8:24:07

ShardingSphere介绍

ShardingSphere从4.X到5.X的内容发生了很多的改变&#xff0c;感兴趣的伙伴可以到ShardingSphere的博客查看各个版本的新特性。https://blog.csdn.net/ShardingSphere?typeblog 此次使用最新版本 shardingShpere5.4.0&#xff0c;实现数据库读写分离、数据分片、分布式事务等…...

编程日记 2023/8/21 8:23:06

【SA8295P 源码分析】44 - 如何替换 NON-HLOS.bin 中的 Wifi Firmware 固件

【SA8295P 源码分析】44 - 如何替换 NON-HLOS.bin 中的 Wifi Firmware 固件 1、提取 NON-HLOS.bin 中的 Wifi Firmware 出来2、把提取出来的 wifi 固件放到代码中3、重新打包生成 NON-HLOS.bin4、将生成的 NON-HLOS.bin 与 老的 NON-HLOS.bin 对比5、使用fastboot 下载测试wifi…...

编程日记 2023/8/21 8:22:04

市面上那里有稳定L2股票行情数据接口？

随着市场的发展和技术的进步&#xff0c;level2股票行情数据接口已经成为股票交易软件的标准配置之一。虽然这些券商软件的功能在很大程度上相似&#xff0c;但它们仍然有自己的特点和优势。 例如&#xff1a;通过股票交易所以其专业的研究报告和丰富的信息服务而受到广泛关注&…...

编程日记 2023/8/21 8:21:03

个人信息保护影响评估（PIA）怎么做？解发条件、实施步骤、操作指南

个人信息保护一直是人们关注的热点话题&#xff0c;互联网、人工智能、大数据等新兴技术的快速发展极大地增强了入侵个人信息的能力&#xff0c;对个人信息的随意收集、违法获取、过度使用、非法买卖、泄露等问题引起了全球各国的普遍关注。同时随着用户的个人信息保护意识的逐…...

编程日记 2023/8/21 8:20:01

建设网站报告书/免费推广引流平台

我有些尴尬地拿着水杯&#xff0c;正对面坐着来访的王总&#xff0c;他是在别处打拼的人&#xff0c;这几年据说收获颇丰&#xff0c;见移动互联网如火如荼&#xff0c;自然也想着要进来干一场&#xff0c;尽管王总从事的行当也算跟IT沾边&#xff0c;但毕竟太长时间不接触技术…...

编程日记 2024/11/16 13:54:02

服装网站源码php/搜索引擎优化关键词的处理

RelativeLayout&#xff1a;基于其他控件&#xff08;包括同容器中控件和容器(父)控件&#xff09;的layout 相对于容器控件&#xff08;父控件&#xff09; android:layout_alignParentLeft"true" 将控件的左边缘和父控件的左边缘对齐 RelativeLayout andro…...

编程日记 2024/11/16 12:52:22

可以做公司宣传的网站有哪些/互联网营销模式有哪些

1 概述 在平时开发中&#xff0c;git可以说是我们最不陌生的工具了。而且在提交线上代码或者是将自己功能分支上的代码给cherry-pick到预发分支上时&#xff0c;如果只提交了一个点那么直接cherry-pick就可以了&#xff0c;但是提交了很多点时&#xff0c;一个一个的cherry-pic…...

编程日记 2024/11/16 12:22:28

一个空间两个wordpress/月嫂免费政府培训中心

栈&#xff1a;​ 只有一个端口进入&#xff0c;元素先进后出FILO。 ​ 而栈内存正是使用了这种结构管理内存&#xff0c;所以才叫栈内存。 基于这个&#xff0c;我们通过链表的形式来实现栈的一系列操作&#xff0c;如入栈、出栈、获取栈顶元素等。 //节点结构体定义 typed…...

编程日记 2024/11/16 5:35:38

设计页面的软件/德州网站建设优化

2019独角兽企业重金招聘Python工程师标准>>> 快速高效用&#xff1a;SET SQL_SAFE_UPDATES 0&#xff1b;下面的就不要看了&#xff01; 今日用MySQL Workbench进行数据库的管理更新时&#xff0c;执行一个更新的语句碰到以下错误提示&#xff1a; Error Code: 1…...

编程日记 2024/11/16 5:08:00

南京做网站公司 雷仁/西安百度推广开户运营

每一种计算机语言都有自己的自动垃圾回收机制&#xff0c;让程序员不必过分关心程序内存分配&#xff0c;php也不例外,但是在面向对象编程(OOP)编程中&#xff0c;有些对象需要显式的销毁&#xff1b;防止程序执行内存溢出。 一、PHP 垃圾回收机制(Garbage Collector 简称GC) 在…...

编程日记 2024/11/16 3:41:08