当前位置: 首页 > news >正文

「数据架构」MDM实现失败的主要原因

b421b21fabf7b83718481e58e10a447f.jpeg

我经常参与一个组织的MDM程序,当他们在一个失败的项目之后向InfoTrellis请求帮助进行清理,或者开始尝试X,以实现对某些人来说非常困难的目标时。主数据管理实现失败的原因有很多,但是没有一个是由于在这些场景中使用的责备游戏的原因。大多数的失败来自于人们没有准备好的常见问题。

让我们来看看MDM实现失败的几个主要原因。最后,他们可能不会让你感到惊讶,但如果你还没有经历过,你会更好地准备好面对他们。

低估了工作

我从这个开始,因为它引出了许多其他的,并且是一个复杂的主题。评估工作量似乎很简单,但是MDM项目有很多不明显的方面,它们会严重影响时间安排和您的成功。

“这只是一个普通的项目”

首先,MDM不是一个项目,而是一段旅程,或者至少是一个程序。

大多数考虑实现MDM的组织都是大型跨国公司。即使是那些刚起步时规模较小、后来经历了增长的中型企业,也面临着与全球规模的码头相同的问题。尽管一家全球性公司的混乱规模可能看起来要大得多,但与规模较小的公司相比,它们也有多得多的资源来解决问题。

如果我们坚持将MDM party域作为参考点(大多数组织都是从MDM开始的),那么与party信息相关的源或接触点的数量可能是惊人的。你可能有这样的系统:

  1. -管理产品或服务的销售

  2. -管理与你打交道或签订合同的供应商

  3. -提取数据到数据仓库,用于客户分析和供应商绩效

  4. -人力资源系统,以管理员工,也可能是客户

  5. -自助服务客户入口

  6. -营销活动管理制度

  7. -客户通知系统

许多其他的

许多大型组织将拥有所有这些系统,每个系统都有多个应用程序,并且常常有多个系统负责相同的业务功能。所以现在你可能会说,是的,我知道这个,然后呢?您的MDM“项目”需要位于所有这些中间,在很多情况下,由于许多系统是基于遗留大型机的系统,所以您需要保持透明,因为这些系统不允许更改。

MDM可以用于组织正在进行的许多转换计划,以替换陈旧的遗留系统,并迁移到基于现代分布式面向服务体系结构的解决方案。

大爆炸永远不会成功

现在我们已经看到了MDM问题的潜在大小,让我提醒您不能一次完成所有工作。当然,你可以计划你的大规模转型计划并执行它——但如果你曾经真正做过其中的一个,你就会知道它比看起来要困难得多,结果通常也不像你预期的那样令人满意。你最终会偷工减料,搞砸预算,错过时间线,只为了交付工作而取消工作范围。

在MDM转换项目中出现这种情况的典型原因是什么?

你不知道你不知道什么

您将与所有这些系统进行集成,在很多情况下,您需要保持透明,因为这些系统可能不知道它们将与新的MDM解决方案进行交互。你需要知道的事情如下:

  • 他们使用什么数据?多长时间?多少钱?什么时候?

  • 他们会更新数据吗?多长时间?如何?什么?

  • 他们需要知道其他人所做的改变吗?更改通知需要多久发出一次?他们需要知道它改变了吗,或者改变是什么?

这类信息似乎很直接。我没有告诉你任何你可能不知道的事情,但是,当你问这些问题时,你很可能得到的答案是:

“我不知道.”

好吧,文档不是很新(我是出于好意),但是你要去寻找答案。这就引出了下一个问题。

没有足够的资源

这是一个很容易解决的问题。我将雇佣更多的业务分析师,让更多的开发人员来查看代码,让更多的项目经理来保持他们在正轨上。看起来像是一个计划,表面上看起来像是一个显而易见的答案,(忽略了现在找到可用的it人员有多么困难),但是这些并不是问题所在。

你没有足够的主题专家(SME)。

BA、开发人员和其他人都需要您的主题专家的时间。主题专家已经很忙了,因为他们是主题专家。通常没有足够的系统来处理它们,如果您有很多系统要处理,那么您将面临大量的IT和中小企业。

您的中小企业带来的是知识产权。知识产权是成功实施的关键。您将需要您的sme为您的各种系统带来的知识,但是您将需要另一种类型的知识产权,并且可以与一个非常漫长的过程相关联。

通过治理进行数据管理

为了能够掌握您的信息,您需要合并来自多个来源的数据,并且需要清楚地定义这些信息的含义和用法。来自一个来源的看似相同的信息可能有不同的含义。数据治理是能够建立对主数据至关重要的企业数据定义的关键需求。即使在成熟的环境中,这也是一项具有挑战性的任务,并且会消耗大量的时间和资源。

数据治理可能看起来是一项有问题且耗时的工作,但它是一种有效的工具,可用于解决在尝试建立公共主数据集时将面临的其他主要障碍之一。

这是我的数据

许多组织被组织成筒仓。筒仓的设计是为了照顾他们自己的利益,提供资金以维持他们的业务目标,并在资源和资金方面具有竞争力。虽然任何组织的最终目标都是组织的成功,但竖井是根据其本身来衡量其成功的。

MDM实现本质上与基于竖井的组织不一致,因为主数据是对某个业务部门有价值的数据,因此跨越竖井。在许多组织中,危险在于一个特定的竖井比另一个竖井具有更大的影响力,通常与业务的收入线有关。这种权力的过度平衡很容易对主数据实现产生不适当的影响,使其成为division X的另一个项目,而不是供所有人共享的企业资源。

数据治理是帮助控制这种情况的关键因素之一。您的数据治理委员会将由所有利益相关者的代表组成,给予所有人平等的代表权。数据治理的跨组织特性也是决策可能是一个困难而漫长的过程的原因,因为它需要跨所有筒仓的共识。

除了企业数据定义之外,主数据管理的另一个重要方面是建立业务规则。

太多的规则

需要涉及业务和数据治理,以建立以下业务规则:

  1. 将数据加载到MDM应用程序的ETL过程

  2. 从多个来源更新信息

  3. 匹配规则

  4. 生存规则

规则的建立是为了解决MDM要解决的一个大问题:数据质量。组织希望同时管理负载数据质量和正在进行的数据质量。人们常犯的一个大错误就是试图马上引入太多的规则。

在早期使用过多的规则会对MDM解决方案的初始数据负载产生很大的影响。您已经准备好投入生产,并且很可能第一次尝试实时数据,结果却发现大量记录由于业务规则而被拒绝。您的数据加载现在失败了,您需要回过头来重新考虑您的规则,修改您的ETL过程,然后再试一次。

您最终获得了您的数据加载,您的消费者已经开始使用数据,您的遗留事务正在失败。为什么他们失败了?因为应用程序没有根据业务规则验证输入,也没有收集足够的信息来满足规则。

当然,有一种方法可以降低这种风险,但通常做得不够好,有时甚至根本没有做。

分析(Profiling)什么?

数据分析是一项重要的任务,它有助于理解数据的外观和需要计划的内容。由于您的参与方主数据很可能包含个人身份信息(PII),并且出于安全原因,访问将受到限制,所以常常存在许多分析障碍。您必须克服这些障碍,因为数据分析是预见将使您在未来偏离轨道的问题的唯一方法。

数据概要分析可能是一项重要的任务,因为每个源系统都需要概要分析。随着您对数据的了解越来越多,您将有更多的问题需要回答。所有这些分析都需要时间,并且很可能需要特定资源的时间,因为只有它们可以访问您需要的信息。(资源问题又出现了。)

项目管理是我的问题吗?

到目前为止,还没有听说MDM实现失败的神奇原因。事实上,许多问题似乎与任何IT项目可能失败的典型原因有关:

  1. 低估了工作

  2. 没有足够的资源

  3. 尝试一次做太多事情(包括范围渐变)

  4. 发现所需时间

MDM实现的一个不太典型的方面是需要数据治理。数据治理不仅为您提供您试图掌握的信息的企业视图,而且还可以是处理竖井之间的竞争议程的有效方法。

数据治理也是实现持续成功的关键因素之一。由于MDM是一段旅程,而不是一个项目,所以成功实现的一个特征是寿命长。一旦您交付了您的基础,接下来的阶段将在基础上构建并提供更多的主数据覆盖。为了确保实现的持续成功,您将需要数据治理的支持,以确保新系统和对现有系统的升级使用主数据,而不只是创建它们自己的孤岛。

在过去,我们试图实现主数据管理今天所承诺的目标,但是由于缺乏控制和治理,我们最终使用MDM纠正数据蔓延。一旦项目结束,主数据管理的角色就不会结束。认识到必须建立流程和规则,不仅要创建主数据存储,还要维护主数据存储并将其集成到系统中,这一点很重要。主数据管理与新软件产品的安装和配置无关。产品是使工作更容易的推动者。规则、治理过程和实施的建立将为您带来成功。

每一个主数据管理实现都需要的最后一件事是强有力的执行支持,没有它,您几乎注定要失败。您的MDM实现将花费数年时间。你将需要持续的资金和支持才能踏上这段旅程,而只有高管才能提供这种程度的支持。组织成竖井的组织常常不能很好地协同工作,虽然数据治理可以在这种情况下提供帮助,但是有时可能需要一些干预来确保事情在预期的时间轴上朝着正确的方向发展。

你的主管是董事会内外的关键资源。在董事会会议室,您需要t champion这样的人,他对MDM实现将为组织带来什么有远见,并随着时间的推移不断前进。离开董事会会议室后,你将面临相互竞争的议程、数据囤积、优先事项的转移,以及试图协同工作的筒仓。这里的执行影响力可以用来确保每个人继续朝着共同的目标努力,并在合理的时间内提供实现gaols所需的资源。

本文 :https://architect.pub/data-architecture-data-governance-proactive-approach
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号

【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
066fff8e3ccbea1164b14acdd3b05239.jpeg
微信小号

【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.

09643c38de4aee27ebad3d496d20d8e2.jpeg

QQ群

【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。

b83fefb256403b341ab125c999a7c44e.jpeg

视频号【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。

2abaf0ed15b0d5cff81cba62d3a61819.jpeg

知识星球【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。

6e1014ac3fc73ab57112ad56dd268d22.jpeg

喜马拉雅【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。【智能时刻,架构君和你聊黑科技】
知识星球认识更多朋友,职场和技术闲聊。知识星球【职场和技术】
领英Harryhttps://www.linkedin.com/in/architect-harry/
领英群组领英架构群组
https://www.linkedin.com/groups/14209750/
微博‍‍【超级架构师】智能时刻‍
哔哩哔哩【超级架构师】

e5a577b3e13270a6bf88c6ad2b40de05.jpeg

抖音【cea_cio】超级架构师

133003ec630668a9dc8403a600a27caf.jpeg

快手【cea_cio_cto】超级架构师

ef4b713221447c57534b2997ae567db2.jpeg

小红书【cea_csa_cto】超级架构师

8dbf828d0d6de3234b6ca77e714e561f.jpeg

网站CIO(首席信息官)https://cio.ceo
网站CIO,CTO和CDOhttps://cioctocdo.com
网站架构师实战分享https://architect.pub   
网站程序员云开发分享https://pgmr.cloud
网站首席架构师社区https://jiagoushi.pro
网站应用开发和开发平台https://apaas.dev
网站开发信息网https://xinxi.dev
网站超级架构师https://jiagou.dev
网站企业技术培训https://peixun.dev
网站程序员宝典https://pgmr.pub    
网站开发者闲谈https://blog.developer.chat
网站CPO宝典https://cpo.work
网站首席安全官https://cso.pub    ‍
网站CIO酷https://cio.cool
网站CDO信息https://cdo.fyi
网站CXO信息https://cxo.pub

谢谢大家关注,转发,点赞和点在看。

相关文章:

「数据架构」MDM实现失败的主要原因

我经常参与一个组织的MDM程序,当他们在一个失败的项目之后向InfoTrellis请求帮助进行清理,或者开始尝试X,以实现对某些人来说非常困难的目标时。主数据管理实现失败的原因有很多,但是没有一个是由于在这些场景中使用的责备游戏的原…...

【Java基础 1】Java 环境搭建

🍊 欢迎加入社区,寒冬更应该抱团学习:Java社区 📆 最近更新:2023年4月22日 文章目录 1 java发展史及特点1.1 发展史1.2 Java 特点1.2.1 可以做什么?1.2.2 特性 2 Java 跨平台原理2.1 两种核心机制2.2 JVM…...

2023-4-26-C++11新特性之正则表达式

🍿*★,*:.☆( ̄▽ ̄)/$:*.★* 🍿 💥💥💥欢迎来到🤞汤姆🤞的csdn博文💥💥💥 💟💟喜欢的朋友可以关注一下&#xf…...

python接口自动化测试 requests库的基础使用

目录 简单介绍 Get请求 Post请求 其他类型请求 自定义headers和cookies SSL 证书验证 响应内容 获取header 获取cookies 简单介绍 requests库简单易用的HTTP库 Get请求 格式: requests.get(url) 注意:若需要传请求参数,可直接在 …...

Photon AI Translator 和做产品的一些思考

近 4 个月内我一直在做 Apple 平台的产品,虽然从使用量来说「简体中文」用户是占多数,但我一直有做多语言的支持:英语、简体中文和繁体中文。习惯上 Google 翻译的我,基本上在使用 Xcode 过程中也会一直在浏览器开着 Google Trans…...

IPTV系统架构的分析与研究

1 引言   IPTV业务是伴随着宽带互联网的飞速发展而兴起的一项新兴的互联网增值业务,它利用宽带互联网的基础设施,以家用电视机和电脑作为主要终端 ,利用网络机顶盒(STB,Set -TopBox) ,通过互联网协议来传送电视信号.提供包括 电视节 目在 内…...

workerman开发者必须知道的几个问题

1、windows环境限制 windows系统下workerman单个进程仅支持200个连接。 windows系统下无法使用count参数设置多进程。 windows系统下无法使用status、stop、reload、restart等命令。 windows系统下无法守护进程,cmd窗口关掉后服务即停止。 windows系统下无法在一个…...

golang Gin实现websocket

golang使用 Gin实现 websocket,这里笔者重新搭建一个项目 1、创建项目安装依赖 项目名为 go-gin-websocket 在指定文件夹下,新建项目文件夹 go-gin-websocket 进入项目文件夹,打开cmd窗口,在项目(go-gin-websocket&a…...

冯·诺依曼体系结构与初始操作系统

目录 冯诺依曼体系结构 冯诺依曼体系结构图 内存 外存 网卡和磁盘 结构之间运算速度的差异 缓冲区 初始操作系统 概念 操作系统上边与下边分别有什么 从上到下依次顺序解析 用户 用户操作接口 系统调用接口 操作系统四项管理 驱动 硬件 冯诺依曼体系结构 冯诺…...

软件测试之黑盒测试的具体方法详解

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一.基于需求的设计方法二.等价类三.边界值四.判定表4.1 **关系**4.2 如何设计测试用例4.3 实际案例第一步第二步第三步第四步 五.正交排列5.1 什么是正交表5.2 …...

图形编辑器:历史记录设计

大家好,我是前端西瓜哥。今天讲一下图形编辑器如何实现历史记录,做到撤销重做。 其实就是版本号的更替。每个版本保存一个状态。 数据结构 要记录图形编辑器的历史记录,支持撤销重做功能,需要两个栈:撤销&#xff0…...

ubuntu22.04下挂载第二块硬盘

文章目录 一、查看硬盘情况二、找到nvme1n1三、挂载四、修改分区文件 一、查看硬盘情况 首先要查看一下系统识别出来的设备。也就是说,我希望知道,ubuntu到底发现了几块硬盘。用命令:lsblk 显示结果如下: 有两块硬盘&#xff1a…...

举例说明.net中in与out的作用与区别

-----作用 在 .NET 中,in 和 out 是用于泛型类型参数的修饰符,它们用于指定参数类型的协变性和逆变性。 - in 修饰符:表示这个泛型类型参数是协变的。也就是说,in 类型参数可以从较特殊的类型隐式转换为较通用的类型。例如&…...

Java常见的100道面试题(内附答案及代码示例)持续更新

什么是Java程序? Java程序是一组可执行的代码,由Java编译器编译生成,可以在Java虚拟机(JVM)上运行。 public class HelloWorld {public static void main(String[] args) {System.out.println("Hello, World!&qu…...

策略设计模式知多少

目录 目标 概述 实现 目标 熟悉策略设计模式,了解策略设计模式的使用场景、具体实现。 概述 一、行为设计模式 行为设计模式是设计模式的一种类型。该类型的设计模式关注的重点在于对象的行为(通信和交互),而非对象的创建方…...

第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Linux 和 macOS 系统上为非根实例启动 ISCAgent

文章目录 第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Linux 和 macOS 系统上为非根实例启动 ISCAgent在 UNIX/Linux 和 macOS 系统上为非根实例启动 ISCAgent在 Microsoft Windows 系统上启动 ISCAgent 自定义 ISCAgent 第三十九章 配置镜像 - 配置 ISCAgent - 在 UNIX Li…...

嵌入式安卓开发:使用Camera2获取相机

文章目录 Camera2介绍Camera2的主要API类介绍CameraManager通过CameraManage获取Cameracharacteristics通过CameraManage获取CameraDevice从CameraDevice获取CameraCaptureSession预览效果 参考 Camera2介绍 从Android 5.0开始,Google 引入了一套全新的相机框架 Ca…...

阿里云g8i服务器Intel Xeon(Sapphire Rapids) Platinum 8475B

阿里云服务器ECS通用型实例规格族g8i采用2.7 GHz主频的Intel Xeon(Sapphire Rapids) Platinum 8475B处理器,3.2 GHz睿频,g8i实例采用阿里云全新CIPU架构,可提供稳定的算力输出、更强劲的I/O引擎以及芯片级的安全加固。阿里云百科分享阿里云服…...

设计模式——组件协作模式之观察者模式

文章目录 前言一、“组件协作” 模式二、Observer 观察者模式1、动机2、模式定义3、伪代码示例①、第一种方案,最朴素的方式②、第二种方案,重构使得遵循DIP原则:③、进一步的小优化:④、修改使得支持多个观察者: 4、结…...

观察者设计模式知多少

目录 目标 概述 实现 推设计模式 拉设计模式 被动观察者设计模式 目标 熟悉观察者设计模式,了解观察者设计模式的使用场景、具体实现(包括:推设计模式、拉设计模式、被动观察者设计模式)。 概述 一、行为设计模式 行为设…...

Cursor实现用excel数据填充word模版的方法

cursor主页:https://www.cursor.com/ 任务目标:把excel格式的数据里的单元格,按照某一个固定模版填充到word中 文章目录 注意事项逐步生成程序1. 确定格式2. 调试程序 注意事项 直接给一个excel文件和最终呈现的word文件的示例,…...

Docker 运行 Kafka 带 SASL 认证教程

Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明:server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...

django filter 统计数量 按属性去重

在Django中,如果你想要根据某个属性对查询集进行去重并统计数量,你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求: 方法1:使用annotate()和Count 假设你有一个模型Item,并且你想…...

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染 准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据 准备一个容器,例如: …...

C++ 基础特性深度解析

目录 引言 一、命名空间(namespace) C 中的命名空间​ 与 C 语言的对比​ 二、缺省参数​ C 中的缺省参数​ 与 C 语言的对比​ 三、引用(reference)​ C 中的引用​ 与 C 语言的对比​ 四、inline(内联函数…...

成都鼎讯硬核科技!雷达目标与干扰模拟器,以卓越性能制胜电磁频谱战

在现代战争中,电磁频谱已成为继陆、海、空、天之后的 “第五维战场”,雷达作为电磁频谱领域的关键装备,其干扰与抗干扰能力的较量,直接影响着战争的胜负走向。由成都鼎讯科技匠心打造的雷达目标与干扰模拟器,凭借数字射…...

有限自动机到正规文法转换器v1.0

1 项目简介 这是一个功能强大的有限自动机(Finite Automaton, FA)到正规文法(Regular Grammar)转换器,它配备了一个直观且完整的图形用户界面,使用户能够轻松地进行操作和观察。该程序基于编译原理中的经典…...

使用 SymPy 进行向量和矩阵的高级操作

在科学计算和工程领域,向量和矩阵操作是解决问题的核心技能之一。Python 的 SymPy 库提供了强大的符号计算功能,能够高效地处理向量和矩阵的各种操作。本文将深入探讨如何使用 SymPy 进行向量和矩阵的创建、合并以及维度拓展等操作,并通过具体…...

【VLNs篇】07:NavRL—在动态环境中学习安全飞行

项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战,克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...

深入浅出深度学习基础:从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么?1.1.2 感知机的工作原理 1.2 感知机的简单应用:基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...