海睿思分享 | 浅谈企业数据质量问题

一、数据质量问题场景

在日常工作中，业务领导经常通过BI系统来了解各项业务的业绩情况。倘若某天，他打开某张核心报表，发现当日某个区域的数据一直是空白的。BI开发人员经过几个小时的排查分析，发现是当日该区域的销售数据存在产品类型属性值缺失情况。

以上就是典型的数据完整性问题造成的问题。

随着数字化时代的到来，数据质量逐渐成为企业发展的关键因素之一。数据质量管理应秉持预防为主的理念，坚持将“以预控为核心，以满足业务需求为目标”作为工作的根本出发点和落脚点，帮助企业全面提高数据质量。只有通过这种方法，企业才能充分利用数据驱动业务发展，实现长期的竞争优势。

二、数据质量—质量规则

按照DAMA对数据质量的衡量标准，数据质量的六大核心要素：完整性、唯一性、一致性、准确性、有效性、及时性。系统提供丰富的质量规则模板，同时支持用户自定义创建。

三、数据质量—质量检查

通过预设的数据质量规则在数据集成、数据处理、数据分析等各个环节中，对数据质量进行控制。对于不符合质量规则的数据进行特殊处理，可根据质量阀值选择中断流程，以避免影响后续业务。

说明：

得分低于阈值时中断流程：若打开该按钮，当数据质量的得分比设置的阈值低时，则任务会被中断执行。

异常数据处理策略：对于不符合质量规则的数据，处理策略有三种：丢弃、保存和正常标准化。

丢弃：不符合规则的数据不会落库，也不会保存。

保存：不符合规则的数据不会落库，但是会保存，用于后续的补录。

正常标准化：不符合规则的数据也会正常落库。

四、数据质量—质量闭环

质量检查发现问题—》生成问题单—》问题单指派给质量负责人处理—》质量负责人解决问题单—》审核问题单处理完成情况—》问题单关闭

1、生成问题单

在质量任务结果监控页面中，得分不满足100分的结果，可以生成问题单进行指定任务进行异常数据处理和跟踪；此外，还可以设置该任务检测出的异常数据无需处理。

生成问题单页面，可以设置质量问题的严重程度以及指定解决该质量问题的责任人。

问题单创建完成，会通过站内信、邮箱、钉钉、飞书等方式通知到对应责任人。

2、问题单解决

在质量问题处理页面查看待处理问题单。

在问题单处理页面，可以查看问题单基本信息，包括关联的检测任务、得分、关联的数据资源、问题单状态和描述；此外可以查看问题单关联的异常数据，并且支持导出异常数据进行修改。

在对异常数据处理完成后，提交质量异常数据处理意见。问题单会自动流转到问题单发起人处，由发起人员确认。问题单流转会通过站内信、邮箱、钉钉、飞书等方式通知相关人员。

3、问题单审核

可以在问题单发起记录页面，查看我发起的问题单处理结果。对于已处理问题单进行审核。

发起人可以通过重新运行质量检查任务来校验问题单异常数据解决情况，支持对问题单退回和关闭操作。

五、数据质量-事后审计

提供可视化开发功能，支持用户构建审计模型，对复杂场景下的数据质量进行发现和分析。

六、总结

OceanMind海睿思数据中台，依据DCMM数据质量能力域，以”事前预防、事中控制、事后审计“为核心，在数据质量需求、数据质量检查、数据质量分析和数据质量提升等方面具备成熟的方法论和丰富的实施经验。

事前预防：通过优化流程制度，培训提升质量意识，提高企业业务系统的数据质量。

事中控制：在调研阶段，输出的业务蓝图中包括业务流程、数据质量要求和数据责任部门；在实施阶段，数据质量要求落地为数据质量规则和质量检查任务，并且通过质量问题单由数据责任部门进行整改，解决数据质量问题。

事后审计：定期对企业数据质量进行全面“体检”，找到问题的“病因”，以实现数据质量的持续提升。