还不知道数据类岗位的相关技能和职责吗？涤生大数据告诉你（二）

续接上文：还不知道数据类岗位的相关技能和职责吗？涤生大数据告诉你（一）

1.数据治理工程师

工作职责

数据治理工程师的工作职责主要包括以下几个方面：

1. 数据管理策略制定：制定和实施数据管理策略，包括数据收集、存储、处理和使用的规范和流程，确保数据的可靠性和一致性。

2. 数据质量管理：评估和监控数据质量，发现和解决数据质量问题，确保数据的准确性、完整性和一致性。

3. 数据安全和隐私保护：制定和执行数据安全策略和措施，保护数据的安全性和隐私，防止数据泄露和非法使用。

4. 数据架构设计：设计和维护适合业务需求的数据架构，包括逻辑模型和物理模型，确保数据的有效组织和高效利用。

5. 数据治理工具和技术应用：使用数据治理工具和技术，如数据目录、元数据管理工具、数据质量工具等，进行数据管理和治理工作。

6. 数据合规性管理：确保数据处理和使用符合相关法律法规和行业规范，遵循数据保护和隐私保护的要求。 

7. 与业务团队和技术团队合作：与业务团队和技术团队紧密合作，了解业务需求，提供数据治理支持和解决方案。

8. 数据培训和意识提升：开展数据培训和意识提升活动，提高组织内部对数据治理的理解和重视程度。

总的来说，数据治理工程师的工作职责是确保数据的质量、低成本和合规性，设计和维护适合业务需求的数据架构，并与业务和技术团队合作，提供数据治理支持和解决方案。

与数仓工程师的区别与工作交集

数据治理工程师和数仓工程师在公司的工作职责有一定的交集，但也存在一些区别。

数据治理工程师的主要职责是管理和治理公司的数据资产，确保数据质量、安全和合规性，并为业务和技术团队提供数据治理支持和解决方案。具体包括数据管理策略制定、数据质量管理、数据安全和隐私保护、数据架构设计、数据治理工具和技术应用、数据合规性管理等方面的工作。

数仓工程师的主要职责是设计、开发和维护公司的数据仓库系统，包括数据的抽取、转换、加载和存储等方面的工作。数仓工程师需要了解业务需求，设计数据模型和数据架构，开发ETL流程，确保数据的准确性、完整性和一致性。

两个岗位的交集在于数据架构设计和数据质量管理方面。数据治理工程师和数仓工程师都需要了解业务需求，设计适合的数据架构和数据模型。同时，两个岗位都需要关注数据质量问题，确保数据的准确性、完整性和一致性。

两个岗位的区别在于数据治理工程师更加注重数据资产的管理和治理，包括数据安全和隐私保护、数据合规性管理等方面的工作；而数仓工程师更加注重数据仓库系统的设计和开发，包括ETL流程的开发和维护等方面的工作。在很多公司中，并没有单独设立一个数据治理团队，而是由数仓开发担任这个角色， 数据仓库工程师作为数据治理的主力军参与数据治理体系建设中，更多的是以实施的角色参与到数据治理中。而数据治理工程师更多的是以数据治理牵头人，或者提供方法论角色参与到项目中。

综上所述，数据治理工程师和数仓工程师在工作职责有一定的交集，但也存在一些区别。两个岗位需要紧密合作，共同为公司的数据资产和业务需求提供更加质量，低成本的解决方案。

2.BI工程师

工作职责

BI工程师的工作职责主要包括以下几个方面：

1. 数据分析与报告：BI工程师负责收集、整理和分析公司的业务数据，并根据业务需求生成相应的报告和可视化图表。他们需要使用BI工具（如Tableau、Power BI等）进行数据分析和可视化展示，以帮助决策者更好地理解业务数据和趋势。

2. 数据和ETL开发：BI工程师也会参与设计和维护数据仓库系统。需要编写数据任务的ETL脚本，从不同的数据源中提取数据，并将其转换为可用于分析和报告的格式。

3. 数据模型设计：BI工程师需要根据业务需求设计数据模型，以支持准确和高效的数据分析。他们需要理解业务流程和数据关系，并使用数据建模工具（如ERwin、PowerDesigner等）设计适合的数据模型。

4. 数据质量管理：BI工程师负责确保数据的质量和一致性。他们需要监控数据质量指标，识别和解决数据质量问题，并建立数据质量管理流程和规范。

5. 技术支持与培训：BI工程师需要提供技术支持，解决业务用户在数据分析和报告过程中遇到的问题。他们还需要为用户提供培训，帮助他们更好地使用BI工具和系统。

总体而言，BI工程师在负责将大量的业务数据转化为有价值的信息和洞察，并帮助决策者做出基于数据的决策，核心工作内容是实现业务指标的可视化，并转化为业务和管理成更加易于理解和决策的数据展现方式。他们同时需要具备数据分析、数据仓库和ETL开发、数据模型设计以及数据质量管理等方面的技能和知识。

与数仓工程师的区别和工作交集

在信贷公司的大数据团队中，BI工程师和数仓工程师的工作有一定的交集，但也存在一些岗位区别。

1. 工作交集

- 数据分析和报告：BI工程师和数仓工程师都需要收集、整理和分析大量的业务数据，共同提供数据驱动的决策支持和业务洞察。

- 数据仓库开发：BI工程师和数仓工程师都需要设计、构建和维护数据仓库和数据集市，确保数据的准确性、完整性和一致性。

- 数据质量管理：因为完整的数据质量BI工程师和数仓工程师都需要监控和维护数据质量，保证数据的准确性和可靠性。

在日常工作中，数仓工程师更多扮演的角色是数据支撑和数据模型提供者的角色，例如一个报表需求，数仓工程师负责端到端全链路的数据开发工作，而bi工程师负责利用如tableau，finereport等报表工作基于数仓开发工程师提供的数据表实现报表展现工作。注意的是，有些公司当中bi工程师会兼备数据工程师的工作职责，例如负责ads层数据开发工作。

2. 岗位区别

 - 技术要求：BI工程师需要具备数据分析和报表工具的开发和运用能力，熟悉数据挖掘和分析技术，以及数据可视化工具的使用。而数仓工程师需要具备数据仓库模型设计和ETL流程开发的能力，熟悉数据建模和数据库技术。

- 业务关注点：BI工程师更加关注数据分析和报表工具的使用和业务需求的满足，致力于提供数据驱动的决策支持。数仓工程师更加关注数据仓库的建设和数据流程的优化，致力于提供高质量、高性能的数据基础设施。

- 角色定位：BI工程师通常更加贴近业务部门，与业务人员紧密合作，理解业务需求并提供相应的数据分析解决方案。数仓工程师通常更加贴近技术团队，与数据架构师和开发人员紧密合作，负责数据仓库的设计和开发。 

综上所述，BI工程师和数仓工程师在团队中的工作有一定的交集，但在技术要求、业务关注点和角色定位上存在一些区别。

3.数据运维工程师

岗位要求

大数据运维工程师的岗位技能要求可以包括以下方面：

1. 大数据技术：熟悉大数据技术栈，如Hadoop、Spark、Hive、HBase等，了解这些组件的底层原理、架构和使用方法。

2. 数据存储管理：管理和维护大数据存储系统，如HDFS、HBase等，确保数据的可靠性和可用性，进行容量规划和性能优化。能够进行数据库安装、配置、备份和恢复等操作。

3. 数据存储运维：熟悉大数据存储系统如HDFS、NoSQL数据库等，能够进行常见的存储介质的运维保障工作。

4. 数据安全和权限管理：具备数据安全和权限管理的能力，了解数据加密、访问控制、数据保护等相关技术，能够制定和执行数据安全策略。

5. 故障排除和性能优化：具备大数据相关平或者组件的的故障排除和集群性能优化的能力，能够监控和诊断大数据平台的故障和性能问题，并采取相应措施进行解决和优化。

6. 编程和脚本语言：熟练掌握编程和脚本语言，如Python、Java、Shell等，能够编写自动化脚本和工具进行大数据运维工作。

7. 问题解决能力：具备良好的问题解决能力，能够快速定位和解决数据运维中的问题，具备良好的分析和沟通能力。

8. 团队合作：具备良好的团队合作能力，能够与数据工程师、数据科学家和业务团队等紧密合作，共同解决数据运维方面的问题和需求。

与数仓工程师的区别和工作交集

在日常工作中，大数据运维工程师和数仓工程师可能会有一些交集。例如：

1.当数据中台团队承接业务部门的一些数据服务类需求的时候，需要大数据运维团队和数仓团队协同完成需求的方案设计和开发上线，对于方案设计，两个团队都需要站在如何站在架构合理性的角度对需求进行方案设计。而对于开发工作，数仓工程师负责数据模型设计及数据开发工作，大数据运维工程师负责hbase,ck等存储介质的建表及接口开发工作，接口开发完成对下游应用系统暴露接口。

2.日常任务运维工作当中，一般由运维工程师负责监控集群及任务的故障问题，当集群出现故障告警或者调度任务出现报错，运维工程师首先会入手排查问题原因，如果是集群问题，运维工程师需要紧急修复故障问题，如果是调度任务代码或者数据开发问题，运维工程师会通知到对应的任务责任人，如数仓开发工程师，数仓工程师上线解决修复任务问题。

对于etl工程师也好，数仓工程师还是数据开发工程师也好，都是同一个目的支撑公司数据类应用的需求，为业务团队提供高质量的数据支持和解决方案。