当前位置: 首页 > news >正文

读书笔记--数据治理之法

继续延续上一篇文章,对数据治理之法进行学习。数据治理之法是战术层面的方法,是一套涵盖8项举措的数据治理实施方法论,包括梳理现状与确定目标、能力成熟度评估、治理路线图规划、保障体系建设、技术体系建设、治理策略执行与监控、绩效考核与长效运营。构建形成数据治理的8项核心能力,为企业数字化转型铺平了道路。

本书这八章从方法论的角度,阐述了数据治理的持续性、长期性、全面性和循环迭代性,明确了数据治理要以业务目标为导向,以数据标准为基础,以优化流程为关键,以技术创新为支撑,以组织制度为保障,明确数据治理的业务目标和治理范围,指出数据治理不能一蹴而就的,需要建立起长效运营机制,需要培养一批有工匠精神的数字化人才,不断打磨数据标准和数据质量,将数据治理变成一种机制、一种文化、一种习惯,才能达到数据治理的标本兼治、长治久安的目标。方法论部分从现状剖析,目标确定,由成熟度评估找出差距到路线图规划,明确了数据治理过程中的管理制度组织保障和技术保障措施,之后提出了数据治理的策略制定和治理过程的执行监督,并明确了数据治理的考核指标,最后根据数据治理要想支撑业务出效果,就需要长期和持续的坚持,即长效运营机制的建立,说明数据治理工作既是一个过程工程,也是一个持久性结果工程,不能只看过程,更要注重结果。

一、梳理现状与确定目标

数据治理的第一步是明确治理的业务目标是什么。

首先,需要摸清楚企业现状,通过信息化摸底,了解企业信息化建设情况,从IT视角了解企业数据管理的痛点和需求;通过业务部门调研,了解数据治理涉及的实施范围,目前数据管理存在的问题与核心需求等,从业务视角了解企业数据管理的痛点和需求;通过高层领导调研,了解企业业务战略、数据思维和认知,了解高层领导对数据治理思路目标方向期望和要求,明确数据治理的目标,数字化目标和发展目标。

其次,开展现状评估,需要对企业的数据思维和认知现状进行评估,接下来要对企业IT系统现状(系统架构、系统集成、系统使用和系统数据)、数据分布现状(数据域划分和数据资源归类)、数据管理现状和数据质量现状进行评估分析。

最后,明确数据治理的目标,要通过企业战略理解、业务需求分析来确定业务目标,再结合IT需求分析,进而确定治理目标,明确了数据治理是企业实现业务目标的一种手段。

常见的治理目标:提效、降本、增强决策、控制风险、精细化管理、创新管理业务模式、增强数据价值获取、满足利益相关方需求等。

二、数据治理能力成熟度评估

能力成熟度评估是企业开展数据治理的切入点,主要通过一系列方法、关键指标和工具来摸清楚企业目前的数据管理现状,用于统一数据管理概念认识、帮助企业建立全面的数据管理能力体系、找到优势和差距,指明方向,提供建议。

常见的能力成熟度模型有DMM和DCMM模型,DCMM分为5个等级,即初始级、受管理级、稳健级、量化管理级和优化级。具体见下图。

引入DCMM模型后,需要进行相应的评估,评估方法见下图。

DCMM是参考DMM模型和DAMA数据管理框架,并结合国内数据管理特点形成的,相对成熟和应用广泛。

总之,通过能力成熟度评估,目的是为了发现问题、找出差距、明确改进方向。

三、数据治理路线图规划

通过前面的能力成熟度评估,绘制出符合企业现状和需求的数据治理路线图。

路线图:一种目标计划,就是计划未来要做的事情罗列出来,直至达到某个目标。

数据治理路线图:是企业数据治理战略要素、发展方向、建设顺序和实施路径的综合表达,指明方向和路径,以时间为轴,采用量化方式明确每个节点的目标、建设内容,为数据治理的实施和操作提供具体参考和依据。一般包括5个要素,即目标任务、需求分析、技术路径、建设步骤、实施保障。给出了具体业务目标,以及实现该目标的步骤、方法、资源、技术和制度等,形成全方面、全链路的治理体系规划。

在路线图中,首先要明确目标、量化指标,要选取业务部门强烈的数据需求和数据质量痛点为着力点,同时要量化数据治理的指标;其次要选择合适的技术路径,比如自研、采购平台或PaaS服务,未来数据治理的技术路径会逐步走向云端;最后要确定治理的优先级,绘制治理路线图,要通过业务痛点--》业务线协同问题--》数据问题,以点连线、以线带面,采用大处着眼、小处着手的原则推进,逐步实现治理目标。典型的数据治理路线图如下。

四、数据治理保障体系建设

数据治理是对数据资产的治理,更是对数据资产所属的利益相关方的协调和规范,甚至是利益再分配。因此需要配置良好的组织机构和高层(一把手)的支持,甚至深入参与。

数据治理项目不像传统的IT项目或科研项目,要求项目负责人具备强大的沟通能力、深厚的技术能力和业务功底。

1.组织机构

设置组织机构明确了组织的3个原则,即治理要从企业利益出发、需要合理分工、需要相关方通力合作。

数据治理项目涉及范围广,牵扯不同的业务部门、信息部门和应用系统,一般来说,主要有5类角色,即数据治理委员会、数据治理办公室、数据所有者、生产者和使用者(消费者)。见下图。

关于谁应该对数据质量负责的问题?数据所有者对特定数据域内的数据负责,数据确权定责只是数据治理的手段,目的是为了提高数据质量和实现业务目标。严格来说数据质量人人有责,谁生产谁负责,谁拥有谁负责,谁管理谁负责,谁使用谁负责。

数据治理的组织机构也要随着建设阶段和运营阶段的变化有所调整,具体见下图。

2.打造高层(一把手)工程

数据治理项目的实施涉及业务范围广、牵扯的人员多、技术复杂多样,因此需要一把手打破部门墙、消除信息孤岛,拿到项目成功的金钥匙。

数据治理不仅仅是一个项目,更是一项持续的数据服务,需要不断迭代、持续优化的综合工程,需要高层的支持或深度参与,由于涉及范围广、周期长、过程复杂等特点,需要不断的重新调配预算、资源,这些都需要高层的推动,同时要开展全面数据治理才可能最终见效,需要企业的利益相关方统一认知、统一思想、齐心合力、上下一致行动,种种这些都需要高层领导和支持。

数据治理是企业信息化的一场重要变革,需要4类人的支持,分别为倡导者、跟随着、观望者和抵制者。

如何才能得到高层的支持呢?

1)将数据治理与企业战略绑定,将IT部门从成本中心逐步变为利润中心

2)敢于暴漏数据的问题,管理、业务和技术方面的问题

3)选择价值显而易见的数据治理策略,增收、降本、提效、控制风险

4)提供明确的落地方向,哪些数据、哪些管理问题、哪些流程、哪些系统,形成路线图,明确阶段内容、效果和投入等

5)引导更多的人支持,重点关注高管利益相关项目,利益干系人关注的事项

高层领导如何发挥作用呢?深度参与和充分授权与适当机会的表扬肯定。

五、数据治理技术体系建设

数据管理中的架构、建模、存储、质量、安全、集成和应用等技术都与数据治理的技术体系有关。技术体系的设计涉及到数据的采集、处理、存储、访问、应用和分析等全生命周期,要考虑静态数据,如元数据、模型、主数据、共享数据的标准化问题,还要考虑动态数据,如交易数据、数据流转、大数据、ETL等数据的生命周期管控。以下是5个典型实战案例的技术架构。

1.元数据为核心的数据治理,见下图

2.主数据为主线的数据治理,见下图

3.混合云架构下的数据治理,见下图

4.大数据架构下的数据治理,见下图

5.微服务架构下的数据治理,见下图

六、数据治理策略执行与监控

从项目经理角度,如何做好数据治理过程的沟通管理,如何监控治理的执行情况,对治理过程进行监督和控制是必须要事先考虑的问题。

数据治理包括4个过程,即发现过程、策略定义、执行和监控。

发现过程就是发现问题,识别需求的过程,获取治理需求、管理问题和存在的风险。确定治理目标和范围的过程。

策略定义需要制定治理策略、项目章程和计划

策略执行需要做好开端,做一个项目启动会、做好沟通管理,学会借势和造势,以及例行的会议和报告及时总结成果,做好宣传

策略监控包括执行情况监控,包括治理度量和评价的指标体系,以及有效性和价值监控,比如提升了哪些业务指标等

总之,数据治理是一个问题发现、定义策略、执行项目和监控成效的闭环管理过程,是一个不断迭代、循环上升的螺旋模型。

七、数据治理绩效考核

数据治理既要抓过程,更要看结果,企业要建立相应的数据治理考核办法,并将其关联到组织和个人绩效中,以保证制度的有效推进和落实。

数据治理绩效考核难以量化,只能间接形成考核指标,一般数据治理的目标就是降本、增收、提效,建立考核指标体系的3个要素为问题,目标和影响。绩效考核机制是形成并固化企业数据文化的重要手段,培养员工数据素养的手段,促进业务效率提升。

4个考核原则:公平公正、严格、公开透明、客观评价原则

6类考核指标:数据治理人员维度、数据治理问题、数据标准贯彻、治理策略执行、技术达成、业务价值实现维度。

数据质量的6种检查办法:记录数、关键指标总量分析法、历史数据对比法、值域判断、经验审核法、匹配判断法。

数据治理的4种考核方式:日常考核、定期考核,系统自动考核和人工考核。

八、数据治理长效运营

由于数据治理是一个长期持续性的工作,因此需要逐步建立长效运营机制。

长效:长期持续运行的数据治理;运营:多项数据治理活动的总称(计划、组织、实施、控制和沟通);机制:发挥预期效能的配套制度,数据治理赋能业务,数据治理要有规范、稳定、配套的制度体系。

数据治理为什么需要长效运营?数据治理的意义是运用科学的管理、先进的技术,持续调动人员的积极性、主动性和创造性。通过数据治理的长效运营,不断加强巩固数字化协同环境,巩固和扩大数据治理成果(树立数据治理旗帜、盘活存量挖掘价值、从被动到主动治理),通过以治促管、以治促用、以治促转,加速企业的数字化转型。

长效运营的挑战:组织挑战、文化认知挑战、项目转产的挑战。

如何建立长效运营机制:组织领导机制、标准规范机制、培训教育机制、人才培养机制、绩效考评机制和持续优化机制。

相关文章:

读书笔记--数据治理之法

继续延续上一篇文章,对数据治理之法进行学习。数据治理之法是战术层面的方法,是一套涵盖8项举措的数据治理实施方法论,包括梳理现状与确定目标、能力成熟度评估、治理路线图规划、保障体系建设、技术体系建设、治理策略执行与监控、绩效考核与…...

送了老弟一台 Linux 服务器,它又懵了!

大家好,我是鱼皮。 前两天我学编程的老弟小阿巴过生日,我问他想要什么礼物。 本来以为他会要什么游戏机、Q 币卡、鼠标键盘啥的,结果小阿巴说:我想要一台服务器。 鱼皮听了,不禁称赞道:真是个学编程的好苗…...

CentOS 7(2009) 升级 GCC 版本

1. 前言 CentOS 7 默认安装的 gcc 版本为 4.8,但是很多时候都会需要用到更高版本的 gcc 来编译源码,那么本文将会介绍如何在线升级 CentOS 的 gcc 版本。 2. 升级 GCC (1). 安装 centos-release-scl; [imaginemiraclecentos7 ~]$ sudo yum…...

java非静态代码块和静态代码块介绍

代码块 SE.10.0…02.28 非静态普通代码块:定义在方法内部的代码块,不用任何关键字修饰,又名构造代码块、实例代码块 静态代码块:用static修饰的代码块 非静态代码块 public class Test {public static void main(String[] args…...

Golang中接口类型详解与最佳实践(二)

之前的文章《Golang中的interface(接口)详解与最佳实践》详细介绍了接口类型的定义、使用方法和最佳实践。接口类型使得编写可扩展、可维护和可复用的高质量代码变得更加容易。 如何判断是否实现了某个接口? 还是使用之前文章的例子,例如声明了如下一个…...

ChatGPT 探讨内存屏障的意内存

一、与 ChatGPT 探讨内存屏障的意内存 轻松的氛围,跟 ChatGPT 从内存屏障问题一直扯到CAP原理 我: 2023/4/14 17:48:09 那我可以理解为{ shared_var 1; asm volatile ("sfence" ::: "memory"); asm volatile ("lfence" …...

P1039 [NOIP2003 提高组] 侦探推理

此题难度为:提高/省选- 作者为:CCF_NOI 题目描述 明明同学最近迷上了侦探漫画《柯南》并沉醉于推理游戏之中,于是他召集了一群同学玩推理游戏。游戏的内容是这样的,明明的同学们先商量好由其中的一个人充当罪犯(在明…...

模拟电路学习笔记 - 概念与结论

真空二极管,电子管ENIAC发源地,基础方法二极管双极管三极管场向管学习特性,最终运放运方的目的是运用,射频,计算…放大电路大功率元器件和微元器件学习他们的特性分粒 集成设计的角度,不要仅仅分析设计的前…...

Linux驱动开发:I2C子系统

目录 1、I2C简介 1.1 两根线 1.2 信号 1.3 写时序 1.4 读时序 1.5 I2C速率 1.6 I2C驱动框架简介 2、I2C设备驱动 2.1 I2C相关API 2.1.1 i2c_driver 2.1.2 注册:i2c_add_driver 2.1.3 注销:i2c_del_driver 2.1.4 module_i2c_driver&#xff…...

[C++] 动态内存与智能指针

众所周知,C五大内存区:全局数据区(静态区)、代码区、栈区、堆区、常量区。 全局数据区(静态区):存放全局变量,静态数据和常量; 代码区:存放所有类成员函数和非成员函数代码,函数体的二进制代码。…...

多态的原理

有了虚函数,会在类的对象增加一个指针,该指针就是虚函数表指针_vfptr;虚表本质就是函数指针数组,虚表里面存放着该对象的虚函数的地址; 派生类继承有虚函数基类的对象模型 子类继承父类的虚表指针时,是对父类的虚表指针进行了拷…...

RK3588平台开发系列讲解(内存篇)Linux 伙伴系统数据结构

平台内核版本安卓版本RK3588Linux 5.10Android 12文章目录 一、 页二、区三、内存节点沉淀、分享、成长,让自己和他人都能有所收获!😄 📢Linux 系统中,用来管理物理内存页面的伙伴系统,以及负责分配比页更小的内存对象的 SLAB 分配器了。 本篇将介绍伙伴系统相关数据结…...

Windows(MFC/C++)上进程间通讯的几种简单又实用的方法

前段时间,做了一个项目,涉及数据传输。项目实现方式有很多种,但不同的实现方式,对数据的传输方法不同,且各有优缺点。 下文就不同情况来如何选择数据传输(通讯)方式。 先说说需求,模块A获取测试数据&#…...

嘉兴桐乡会计考证培训-备考中级职称有必要报班吗?

备考中级会计职称有必要报班吗?其实,备考报班不能说是必需的,但听课学习确实是节省时间的一种方式,根据同学们的反馈,自学所花费的时间远远多于跟着老师学。上元教育就整理了一些学员报班之前走过的弯路 报班之前 在2…...

java元注解和自定义注解的区别

Java的元注解和自定义注解是两个不同的概念。 元注解是Java内置的一组用于修饰其他注解的注解,包括Retention、Target、Inherited和Documented。它们可以控制被修饰的注解的保留策略、目标范围、是否继承等属性,并且可以在编写自定义注解时使用。 Retent…...

技术到底是什么

背景 我发了朋友圈:做了个奇怪的梦,梦见被离职了,理由竟然是:你技术太菜了 我补充评论:我还没想明白怎么回事,就醒了。有点遗憾的是:想再努力反驳两句,结果没机会了… 很多人评论…...

什么CRM客户管理系统最好?

产业互联网背景下,企业数字化转型日渐深化。毋庸置疑,客户是企业的命脉,企业发展的关键便是以客户为中心,为客户创造价值,并不断实现企业的可持续性增长,而这也是每个企业永不落幕的主题。 一套优秀的CRM客…...

吴军《计算之魂》读后感

前言 断断续续,终于完成了这本书的第一次通读,记录下自己的一些想法。 先说一个小故事。前段时间家里买了一个小鱼缸,问我有没有办法让水自动循环,但不想用电。没有好的想法,去小某书上搜了下,好多案例教…...

CSS进阶

01-复合选择器 定义:由两个或多个基础选择器,通过不同的方式组合而成。 作用:更准确、更高效的选择目标元素(标签)。 后代选择器 后代选择器:选中某元素的后代元素。 选择器写法:父选择器 …...

金兰组织 | 2023金兰解决方案集经营管理篇正式发布

为助力企业创新管理、提质增效,人大金仓携手金兰组织成员单位,于近期发布多项经营管理领域的联合解决方案,共享创新应用成果。 /人大金仓高级副总裁宋瑞/ 人大金仓高级副总裁宋瑞在致辞中表示:“联合解决方案创新是指通过把不同领…...

【python】pytorch包:深度学习(序章)

今日听闻师姐说pytorch实现深度学习要比keras更好用一些,特此记录 Part 0. 机器学习 与 深度学习 的联系与区别 参考B站视频链接 联系 深度学习是机器学习的分支,人工神经网络为基础,对数据的特征进行学习的方法 区别 特征抽取 机器学…...

HTML <acronym> 标签

HTML5 中不支持 <acronym> 标签在 HTML 4 中用于定义首字母缩写词。 实例 标记一个首字母缩写&#xff1a; <acronym title"World Wide Web">WWW</acronym> 浏览器支持 IEFirefoxChromeSafariOpera 所有主流的浏览器均支持 <acronym> …...

python基本数据类型 - 字典集合

引入 在内存中存储的数据可以是不同的数据类型。比如名字可以使用字符串存储&#xff0c;年龄可以使用数字存储&#xff0c;python有6种基本数据类型&#xff0c;用于各种数据的存储&#xff0c;分别是&#xff1a;numbers(数字类型)、string(字符串)、List(列表)、Tuple(元组…...

python数据类型总结

标准数据类型 Python 有以下几种标准数据类型&#xff1a; 整数&#xff08;int&#xff09;&#xff1a;表示整数值&#xff0c;如 1, -5, 0 等。浮点数&#xff08;float&#xff09;&#xff1a;表示小数值&#xff0c;如 3.14, -0.01, 1.0 等。字符串&#xff08;str&…...

TS内置类型总结

typeof 取对象身上的类型 const person {name: ,job: ,age:18 } type p typeof person ->> type p {name: string;job: string;age: number; }keyof取一个类型的属性明作为一个联合类型 const person {name: ,job: ,age: 18 } type p typeof person type k keyof p…...

Spring Cloud Alibaba: Gateway 网关过滤器 GatewayGatewayFilter factory (记录)

目录 AddRequestHeader GatewayFilter factory AddRequestHeadersIfNotPresent GatewayFilter factory AddRequestParameter GatewayFilter Factory AddResponseHeader GatewayFilter Factory CircuitBreaker GatewayFilter factory circuit breaker based on the status…...

Windows Server 2016版本说明

Windows Server 2016 Essentials edition Windows Server 2016 Essentials版是专为小型企业而设计的。它对应于Windows Server的早期版本中的Windows Small Business Server。此版本最多可容纳25个用户和50台设备。它支持两个处理器内核和高达64GB的RAM。它不支持Windows Serve…...

车载红外夜视「升温」

红外夜视赛道&#xff0c;正在升温。 本周&#xff0c;全球车载后视镜头部供应商Gentex宣布&#xff0c;领投以色列热成像技术初创公司ADASKY&#xff0c;后者在B轮融资中拿到了3000万美元。按照计划&#xff0c;Gentex将协助ADASKY将红外夜视技术推向汽车市场。 事实上&#x…...

ext3 文件系统的特点、优缺点以及使用场景

ext3&#xff08;Third Extended File System&#xff09;是 ext2 文件系统的后续版本&#xff0c;它在 ext2 文件系统的基础上增加了日志功能&#xff0c;以提高文件系统的可靠性和稳定性。下面是 ext3 文件系统的特点、优缺点以及使用场景&#xff1a; 特点&#xff1a; ext…...

rk3568 修改开机logo

rk3568 修改开机显示logo Android 显示 logo 的作用是为了标识应用程序或设备的品牌和身份。在应用程序中&#xff0c;logo 可以帮助用户快速识别应用程序&#xff0c;并与其他应用程序区分开来。在设备中&#xff0c;logo 可以帮助用户识别设备的品牌和型号&#xff0c;以及与…...