当前位置：首页 > news >正文

数仓高频面试 | 数仓为什么要分层

大家好，我是大D呀。

关于数仓分层，在面试过程中几乎是必问的。不过，面试官一般也不会直接考你数仓为什么要分层，而是在你介绍项目时，可能会换一种形式来穿插着问，比如数据链路为什么要这样设计，这些指标为什么不能在一张表里开发。

那么，这个时候你就要结合着自己实际项目，聊一下数仓分层的理论了。为了让回答显得更体系化，可以把数仓分层的原因、有哪些好处以及是如何进行划分的都讲一讲。

反正你不讲，他也不知道你会。

首先，你要明白数仓存在的意义是什么？数仓产出的分析指标，理论上在业务系统侧也都能产出，那么还要数仓干什么呢。

数仓的作用就是将企业所有业务系统的数据收集起来，然后再对这些数据集进行分析处理，为决策层和运营部提供数据服务。

但是在分析处理中，由于数据规模和数据量比较大，分析维度有很复杂，放在一起处理，对于开发和运维成本都很大。于是，才有了数仓分层的概念。

紧接着，对数仓分层都带来哪些好处展开讲讲，这里要注意一定要分点回答，先别管全面不全面，至少让面试官觉得你的回答很有条理，而不是让他从你含糊的回答中梳理出123来。

将复杂问题简单化。将一个复杂的业务加工逻辑拆解成多个步骤来分步完成，每一层只聚焦于某一类问题。当数据出现问题时，通过追溯可以很快定位到问题出现在哪一层，并且只需要对这一层逻辑修复即可。
用空间换时间。数据存储持久化，减少重复开发，节省计算资源，提高数据的复用性。比如将稳定且通用的加工逻辑下沉到某一层，下游在使用时可以直接引用，而无须重复计算。
清晰数据血缘。将复杂的数据关系梳理成条理清晰的数据模型，建设思路与数据血缘比较清晰，方便协调开发以及问题定位。

这块就多自由发挥一下，把上述3点回答上来，基本分是能拿到了。

比如，还可以多扩展一些，比如屏蔽业务系统影响，提高数据稳定性；对数据权限精细化管控，提升数据安全。

数据分层的划分方式或者层次名称在不同公司或者业务线可能不太一样，这块考察更多的是你对分层的理解，哪一层聚焦在解决什么问题以及不解决什么问题，一定要把划分的依据和边界讲清楚。

下面讲一下数仓分层在阿里的划分方式，数据模型分三层：ODS层、CDM层、ADS层。其中，CDM层又可细分为DWD层、DIM层、DWS层。

1、ODS层（贴源层）

数据源是业务数据库，每天的抽取方式可以通过Canal监听Mysql的Binlog日志的方式，将业务系统数据几乎无处理地回放同步到数据仓库中，结构上与系统侧保持一致。这一层要解决的问题是屏蔽系统侧影响，为后续数仓建设提供业务过程中最原始最细粒度的基础数据。

2、CDM层（公共维度模型层）

DWD层（明细层）

这一层是对ODS层进行剔除脏数据、统一单位、规范注释等处理，提供干净和标准的数据。同时，为了提高明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联，提供明细数据表的易用性。

比如，对于订单这样量级很大的维度，没有必要用一张维度表来存储，就可以将订单ID的订单类型、下单渠道等维度属性冗余到事实表中。但是也要考虑实际业务场景，对于不稳定的维度（比如商品类目）建议不要做退化，否则会带来很大的刷数成本。

DIM层（维度层）
维度是衡量和观察业务的角度，这层基于维度建模理论，建立整个企业或者业务线上的一致性维度建，降低数据计算口径和算法不统一的风险。

DWS层（汇总数据层）

这层一般根据维度数据和明细数据加工生产的，基于一些分析场景、分析实体，对DWD层数据按照各类维度进行粗粒度地汇总聚合，采用更多的宽表化手段物化模型，构建公共指标数据层，提升公共指标的复用性，减少重复加工。

ADS层（应用层）

这层存放数据产品个性化的统计指标（指数型、比值型、排名型）数据，作为产品特有的个性化指标一班不对外提供数据服务。

对数仓分层中模型和数据的流向规范说明一下。

数据调用服务优先使用CDM公共层数据，当公共层没有数据时，需要评估是否需要创建公共层数据，当不需要建设时，方可直接使用ODS层数据。

面试中一定要突显出自己对建模理论和应用实践过程的思考，回答出以上理论只是及格分，和其他候选人的区别一定是体现在自己的个人思考之上的。

无论是数仓分层原则还是层次调用规范，都要结合具体的业务场景和业务特点进行建设，不要为了分层而分层，也不要束缚于各种规范。

如果你搭建的数仓模型都是按照规范来的，没有反规范的特殊处理，只能说明做的不够深入，换做同阶或低阶的同学也能做出来，就体现不出其复杂度和模糊度了。

所以，在回答该问题时，一定要结合着实际操练的项目，对遇到的困难和挑战点，把如何通过规范或者反规范的方式解决的过程和思考讲出来，才能获得加分项，更能突显自己。