【中项】系统集成项目管理工程师-第4章 信息系统架构-4.4数据架构

前言：系统集成项目管理工程师专业，现分享一些教材知识点。觉得文章还不错的喜欢点赞收藏的同时帮忙点点关注。 

       软考同样是国家人社部和工信部组织的国家级考试，全称为“全国计算机与软件专业技术资格（水平）考试”，目前涵盖了计算机软件、计算机网络、计算机应用技术、信息系统、信息服务5大领域，总共27个科目，也是分为初、中、高三个级别。

       通信专业主要需要关注“计算机网络”这个专业类别，可以考的科目有初级资格的“网络管理员”、中级的“网络工程师”。

       还有5个高级资格专业，分别是“信息系统项目管理师“”系统分析师“”系统架构设计师“”网络规划设计师“”系统规划与管理师“。

       软考高级证书在通信行业比较吃香，主要原因有两个： 通信行业与计算机软件是相近专业，评职称满足相近专业的要求； 通信高级不能以考代评，但软考高级可以，很多考生通过考软考高级来评高级职称。
————————————————

                       

4.4数据架构

       数据架构描述了组织的逻辑和物理数据资产以及相关数据管理资源的结构。数据架构的主要内 容涉及数据全生命周期之下的架构规划，包括数据的产生、流转、整合、应用、归档和消亡。数据 架构关注数据所处的生命周期环节中数据被操作的特征和数据类型、数据量、数据技术处理的发展、数据的管控策略等数据领域的概念相关。

4.4.1发展演进

       作为信息系统架构的组成，数据架构在不同时代其形态也是不一样，它是随着信息技术的不断 发展而向前演进，主要经历了单体应用架构时代、数据仓库时代和大数据时代等。

1.单体应用架构时代

       在信息化早期（20世纪80年代），信息化初步建设，信息系统以单体应用为主，例如：早期的 财务软件、OA办公软件等。这个时期数据管理的概念还在萌芽期，数据架构比较简单，主要就是  数据模型、数据库设计，满足系统业务使用即可。

2.数据仓库时代

       随着信息系统的使用，系统的数据也逐步积累起来。这时候，人们发现数据对组织是有价值的，但是割裂的系统导致了大量信息孤岛的产生，严重影响了组织对数据的利用。于是，一种面向 主题的、集成的、用于数据分析的全新架构诞生了，它就是数据仓库。

       与传统关系数据库不同，数据仓库系统的主要应用是OLAP ，支持复杂的分析操作，侧重决策  支持，并且提供直观易懂的查询结果。这个阶段，数据架构不仅关注数据模型，还关注数据的分布 和流向。

3.大数据时代

       大数据技术的兴起，让组织能够更加灵活高效地使用自己的数据，从数据中提取出更多重要的 价值。与此同时，在大数据应用需求的驱动下，各类大数据架构也在不断发展和演进着，从批处理 到流处理，从大集中到分布式，从批流一体到全量实时。

4.4.2基本原则

       数据架构的设计原则是在遵循架构设计通用原则的情况下，有数据架构自身的特殊考虑。合理 的数据架构设计应该是解决以下问题：功能定位合理性问题，面向未来发展的可扩展性问题，处理 效率高效或者说高性价比的问题；数据合理分布和数据一致性问题。

1.数据分层原则

       首先，组织数据按照生命周期就是分层次的，因此数据分层原则更多应该解决的是层次定位合 理性的问题。在给每个层次进行定位的同时，对每个层次的建设目标、设计方法、模型、数据存储 策略及对外服务原则进行一定的约束性定义和控制。

2.数据处理效率原则

       合理的数据架构需要解决数据处理效率的问题。所谓的数据处理效率并不是追求高效率，而是 追求合理，因为所有的数据存储和处理都是有代价的。换句话讲：数据处理效率的问题也可以说是 解决满足数据处理效率要求的成本合理化的问题。

       数据处理的代价主要就是数据存储与数据变迁的成本，在实践中，真正影响数据处理效率的是 大规模的原始数据的存储与处理。在这些原始明细数据的加工、处理、访问的过程中，尽量减少明 细数据的冗余存储和大规模的搬迁操作，可以提升数据处理效率。

3.数据一致性原则

       合理的数据架构能够有效地支持数据管控体系，很多的数据不一致性是因为数据架构不合理所 导致的。其中，最大的原因就是数据在不同层次分布中的冗余存储以及按照不同业务逻辑的重复加 工。因此，如何在数据架构中减少数据重复加工和冗余存储，是保障数据一致性的关键所在。

4.数据架构可扩展性原则

       数据架构设计的可扩展性原则可以从以下角度来保障：

●基于分层定位的合理性原则之上。只有清晰的数据层次定位，以及每个数据层次合理的模型  和存储技术策略，才能更好地保证数据架构在未来支持新增业务类型、新增数据整合要求、新增数 据应用要求的过程中的可扩展性。

●架构的可扩展性需要对数据存储模型和数据存储技术也进行考虑。 5.服务于业务原则

合理的数据架构、数据模型、数据存储策略，最终目标都是服务于业务。例如，社会保险快速的业务流程运转以及高效而且精准的业务决策支持，是社会保险行业两方面的业务目标。因此， 时候在面临满足某种业务特殊目标的时候，可以为了业务的体验放弃之前的某些原则。

4.4.3架构举例

       本项目采用集中式的数据资源管理模式建设全市统一的数据中心，汇聚全市就业、社保、劳动 关系等社会保险内部各类数据资源，以及银行、税务、公安等外部数据资源。按照统一的技术规范、数据编码和格式标准，进行数据清洗整合、数据建模、数据挖掘，构建社会保险数据仓库，并 根据治理主体应用需求，从数据仓库中抽取归集相关数据，形成保险档案、公共服务、监控治理、 决策分析等专题库。主要数据资源库包括源数据库、交换库、过渡库、整合库、主题库等。

（1）源数据库。源数据库是某城市社会保险智慧治理中心所需数据的源端，包括社保数据、就 业数据、劳动关系数据、人事人才数据等社会保险内部数据以及银行、税务、公安等外部部门数据。

（2）交换库。利用OGG等同步工具或通过数据同步、服务调用等方式将源端的数据库同步到 交换数据库中，采用数据同步或者镜像的方式，降低对源数据库的影响。

（3）过渡库。通过OGG For Bigdata抽取变量数据、Sqoop抽取、推送、导入等方式抽取交换库 中的数据，存储于Hadoop平台中的过渡库中，以便提高大批量数据处理性能。

（4）整合库。对过渡库的数据进行对照、转换、清洗、聚集，按照统一的库表结构存储在整合 库中，为各主题库提供增量数据源和全量数据源。

（5）主题库。主题库即服务库，根据治理主题应用需求，从整合库中提取所需数据，为治理应 用和可视化展现提供支撑。

1 #include "stdio.h"
2 void main()
3 {
4     int time;
5     for (time=1;time<=10;time++)
6     printf("%d、喜欢的帮忙点赞收藏加关注哦！\n",time);
7 }