当前位置: 首页 > news >正文

数据库 与 数据仓库的本质区别是什么?

当用计算机来处理数据的时候, 数据就需要存储和管理了。早期的数据, 就是用一个文件来实现的, 即是文件系统。随着处理的数据量增大, 发展到用数据库来管理和存储数据了。

数据库包括多媒体数据库、对象关系数据库和关系数据库。关系数据库管理系统,已经成为了事实上通用的数据库系统, 因为它以关系表格式存储数据,并以简单明了的SQL标准的格式对数据进行存取。

随着数据量的增多,人们开始寻找各种数据之间的关系, 研究面向某一主题的数据, 于是数据仓库问世了。数据仓库是历史的、主题的、集成的大量数据, 以多维的角度分层次分析数据之间的关系, 提供数据挖掘功能, 寻找数据间的知识, 为决策支持提供服务。

因此,数据库和数据仓库都是与数据相关的。

一、数据库与数据仓库的概念

1、数据库

(1)概念

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。数据库有很多类型,从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。

(2)数据库的特点

实现数据共享:数据共享包含所有用户可同时存取数据库中的数据,也包括用户可以用各种方式通过接口使用数据库,并提供数据共享。

减少数据的冗余度:同文件系统相比,由于数据库实现了数据共享,从而避免了用户各自建立应用文件。减少了大量重复数据,减少了数据冗余,维护了数据的一致性。

数据的独立性:数据的独立性包括逻辑独立性和物理独立性。

数据的集中控制:文件管理方式中,数据处于一种分散状态,不同用户或同一用户在不同处理中其文件之间毫无关系。利用数据库可对数据进行集中控制和管理,并通过数据模型表示各种数据的组织以及数据间的联系。

数据的一致性和可维护性:①安全性控制:以防数据丢失、错误更新和越权使用;②完整性控制:保证数据的正确性、有效性和相容性;③并发控制:在同一时间周期内,允许对数据实现多路存取,能防止用户之间的不正常交互作用。

故障恢复:由数据库管理系统提供一套丰富,可及时发现故障和修复故障,从而防止数据被破坏。

2、数据仓库

(1)概念

数据仓库,是一个很大的数据存储集合,出于企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。

(2)数据仓库的特点

主题性:传统数据库中,最大的特点是面向应用进行数据的组织,各个业务系统可能是相互分离的。而数据仓库则是面向主题的。主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象。

操作型处理(传统数据)对数据的划分并不适用于决策分析。而基于主题组织的数据则不同,它们被划分为各自独立的领域,每个领域有各自的逻辑内涵但互不交叉,在抽象层次上对数据进行完整、一致和准确的描述。一些主题相关的数据通常分布在多个操作型系统中。

集成性:通过对分散、独立、异构的数据库数据进行抽取、清理、转换和汇总便得到了数据仓库的数据,这样保证了数据仓库内的数据关于整个企业的一致性。

数仓不是生成数据的平台,其数据来自于各个不同的数据源,当我们确定主题之后,就需要把和主题相关的数据从各个数据源集成过来。因为同一个主题的数据可能来自不同的数据源,它们之间会存在着差异(异构数据)。因此在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作有:

要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等;进行数据综合和计算。数据仓库中的数据综合工作可以在从原有数据库抽取数据时生成,但许多是在数据仓库内部生成的,即进入数据仓库以后进行综合生成的。

稳定性:数据仓库中保存的数据是一系列历史快照,不允许被修改。

时变性:数据仓库包含各种粒度的历史数据。数据仓库中的数据可能与某个特定日期、星期、月份、季度或者年份有关。数据仓库的目的是通过分析企业过去一段时间业务的经营状况,挖掘其中隐藏的模式。虽然数据仓库的用户不能修改数据,但并不是说数据仓库的数据是永远不变的。分析的结果只能反映过去的情况,当业务变化后,挖掘出的模式会失去时效性。因此数据仓库的数据需要更新,以适应决策的需要。从这个角度讲,数据仓库建设是一个项目,更是一个过程。

二、数据库与数据仓库的区别

数据库与数据仓库的区别实际讲的是OLTPOLAP的区别。

操作型处理,叫联机事务处理OLTP(On-Line Transaction Processing,),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。

分析型处理,叫联机分析处理OLAP(On-Line Analytical Processing)一般针对某些主题的历史数据进行分析,支持管理决策。

首先要明白,数据仓库的出现,并不是要取代数据库。

企业中一般先有数据库,然后有数据仓库,可以没有数据仓库,但是不能没有数据库。数据仓库不是大型的数据库,只是一个数据分析的平台。

数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它绝不是所谓的“大型数据库”。

具体而言,数据库与数据仓库的区别有以下几点:

1、数据库是面向事务的设计,数据仓库是面向主题设计的。

2、数据库一般存储业务数据,数据仓库存储的一般是历史数据。

3、数据库设计是尽量避免冗余,一般针对某一业务应用进行设计。数据仓库在设计时有意引入冗余,依照分析需求,分析维度、分析指标进行设计。

4、数据库是为捕获数据而设计,数据仓库是为分析数据而设计。

三、数据库与数据仓库的应用

下面小亿以亿信华辰为江苏金租建设的一体化数据分析管理平台为例,具体讲讲数据仓库的应用。

点这里,免费申请数据治理产品~

1、项目背景

金融统计历来是监管机构非常重视的一项基本工作,每年都会对金融统计制度进行修订,不断细化和完善统计要求,在此背景下,公司也在不断的开展各类业务数据规范、完善业务基础数据采集的工作。但由于缺乏统一化的数据平台,使得各类监管报表的生成质量无法得到有效保证。

另外,随着业务的快速发展,中小企业业务逐步增多,公司对精细化管理提出更高要求,内外部数据的使用、统计、分析工作成为日常办公的基本需要,信息中心在数据服务方面的提升迫在眉睫,同时各部门也对数据服务的提供方式、提供的时效性、使用的灵活性提出了较高要求。目前江苏金租公司主要面临以下几个问题:

(1)数据信息孤岛问题

随着公司的日渐发展及业务的逐步扩大,江苏金租公司的业务系统也逐步增多。目前主要的就有大单、零售、助融、财务、资金、OA、HR七大系统数据,各系统之间的数据缺乏关联性,数据无法统一标准,容易形成“蛛网结构”,出现重复开发,浪费IT资源和成本的问题。

(2)缺乏精细化的管理

江苏金租目前在数据展示方面缺乏成熟的平台,公司管理层和业务部门人员无法及时获知公司和部门经营管理情况,动态调整公司和部门重点工作,更好的指导团队完成各项经营指标,从而做不到精细化的管理。

(3)数据的多维分析能力不足

江苏金租各部门及业务人员数据分析大多依赖于系统自身或者用户手动处理数据,但是由于业务系统缺乏历史数据并且各个系统比较分散,无法做到多维度地分析数据。

(4)信息安全管控问题

公司各部门及业务人员在进行数据分析是主要依赖于业务系统,但是这样操作权限控制不足,业务人员经常能够查看到一些其他部门或业务人员的数据,而且针对于一些对外报表,其中的一些敏感信息例如人员姓名、证件号码等关键信息无法进行脱敏处理,容易导致公司核心数据泄露问题。

2、项目建设情况

综合考量内外部需求,江苏金租启动数据平台建设项目,本阶段以搭建数据平台完成各类数据落地、满足各类指标数据展现要求、实现管理驾驶舱展示为主要目标,强调数据平台搭建的科学性、前瞻性,数据来源的准确性和统一性。

江苏金租数据平台系统目前开发完成的主要是管理驾驶舱、经营分析、监管报送、数据采集四大模块。系统业务功能架构见下图:

(1)管理驾驶舱

可根据人员权限灵活展示相应的内容,一共开发了4张PC端、4张手机端报表。主要从投放、资产、人员、渠道等多个方面展示公司的整体情况,同时支持穿透,可以查看某个指标的明细情况;

(2)经营分析

主要用于业务人员在日常工作中的分析报表,以及对外披露报表的展示。例如厂融经销商风险金明细表等157张经营分析报表和厂融经销商风险金收支明细表(对外)等23张对外报表;

(3)监管报送

主要用于满足公司监管报送的需求,目前开发完成的有G1101、G04等66张银保监会报送报表,以及存量单位贷款等10张人民银行基础数据报送报表;

(4)数据采集

主要用于用户补录一些目前在业务系统缺失但是对于经营分析或者监管报送又不可或缺的数据。比如内部行业分类补录、G22日报补录等17张补录报表。

3、价值体现

截止目前,项目在数据库方面一共交付55张ODS层库表、38张DW层库表以及72张维表;数据平台前端交付5张领导驾驶舱、157张经营分析报表、10张数据补录表。自数据平台上线以来用户数已超过400余人,有效地支持公司各大部门的日常工作。为企业带来价值体现如下

(1)提升科技治理水平

数据平台集成了公司大单业务系统、零售业务系统、助融业务系统、财务系统、资金系统、OA系统、HR系统七大系统数据,解决了数据信息孤岛,有利于风险监控和日常管理。

数据平台通过主题模型,将不同系统的同类数据进行抽取、清洗、加工和转换,实现不同系统间同类报表查询、监管报送等工作统一处理,保证数据统一标准,防止形成“蛛网结构”,减少重复开发,节约IT资源和开发成本。

(2)保障公司精细化管理

管理驾驶舱以及穿透页能让公司管理层和业务部门人员及时获知公司和部门经营管理情况,动态调整公司和部门重点工作,更好的指导团队完成各项经营指标。

(3)满足公司多维数据分析需求

通过对历史数据进行详细记录处理,建立多维维度表和指标体系,满足了公司各部门多维度指标分析的需要。

(4)加强信息安全管控

数据平台在门户的开发上实现了一个部门一个门户,并且通过组织架构精确控制查询权限,人员权限可精准控制到具体报表的相关字段,从技术上杜绝了人员能够查询与自己无关的数据信息,并对人员姓名、证件号码等关键信息进行了脱敏处理,防止公司核心信息数据泄露。


随着互联网的快速发展, 互联网+的大规划应用, 工程数据量以几何级数增长, 如何处理这些大量的结构化和非结构化的数据, 显得越来越重要。数据库和数据仓库是互补的, 谁也替代不了谁, 他们将会协同发展, 相互协作为企业服务。

数据库存储的是事务型的日常处理的数据, 解决工程施工、设计、咨询等各方面的需要。数据仓库是面向主题的分析, 为人们提供决策支持需要。两者不一定非要区分本质区别,应用得好才是最主要的。

相关文章:

数据库 与 数据仓库的本质区别是什么?

当用计算机来处理数据的时候, 数据就需要存储和管理了。早期的数据, 就是用一个文件来实现的, 即是文件系统。随着处理的数据量增大, 发展到用数据库来管理和存储数据了。 数据库包括多媒体数据库、对象关系数据库和关系数据库。关系数据库管理系统,已经成为了事实上通用的数据…...

数据库实践LAB大纲 05 JDBC 连接

概述 Java DataBase Connectivity,Java 数据库连接 执行SQL的Java API 为多种关系型数据提供统一访问 FUNCTION 建立与数据库的连接向数据库发送 SQL 语句处理从数据库返回的结果 四种常见JDBC驱动程序 JDBC-ODBC Bridge drivernative-API, partly Java driver…...

Linux部署nuxt3

最近写了一个项目,需要打包部署,过程还是比较繁琐的,因为需要先配置运行环境。准备采用 pm2 管理项目运行,需要在服务器安装 pm2,而安装 pm2 的话用 npm 命令最方便,所以还要下载 node 环境。那么&#xff…...

鸟哥的Linux私房菜读书笔记:文件系统的简单操作

磁盘与目录的容量 现在我们知道磁盘的整体数据实在superblock区块中,但是每个个别文件的容量则在inode当中记载的. 那在命令行下面该如何显示处这几个数据呢? df:列出文件系统的整体磁盘书用量du:评估文件系统的磁盘使用量(常用在推估目录所占容量)df先来说明一下范例一所输…...

论如何用python自动下载爱的妹子视频~嘿嘿嘿~

前言 嗨喽,大家好呀~这里是爱看美女的茜茜呐 又到了学Python时刻~ 现在好看的妹子真的太多啦~ 如何一次性把这些好看的视频全保存下来捏? 开发环境: 版 本: python 3.8 编辑器: pycharm 2022.3.2 专业版 requests >>> pip install request…...

传奇GOM引擎配置PAK密码补丁教程

因为我很少接触GOM引擎,所有很晚才知道PAK密码的事情,以前经常在群里或者QQ上有人问站长,说补丁有PAK密码怎么办,我起初不在意,限制发现是一个大问题,好吧,今天借助这篇文章,分享一下…...

邀您参赛!DCIC 2023「科技金融欺诈风险识别」算法赛正在报名中

近年来,跨境赌博、电信网络诈骗、黑产等外部欺诈违法犯罪形势日益严峻,呈现线上化、产业化、团伙化等特征,国家、监管机构及银行自身都高度重视反欺诈治理工作,坚决守护人民群众的财产安全。 为进一步打击外部欺诈违法犯罪行为&am…...

ElasticSearch-学习笔记04【Java客户端操作索引库】

Java后端-学习路线-笔记汇总表【黑马程序员】ElasticSearch-学习笔记01【ElasticSearch基本介绍】【day01】ElasticSearch-学习笔记02【ElasticSearch索引库维护】ElasticSearch-学习笔记03【ElasticSearch集群】ElasticSearch-学习笔记04【Java客户端操作索引库】【day02】Ela…...

低代码开发平台|制造管理-工艺工序搭建指南

1、简介1.1、案例简介本文将介绍,如何搭建制造管理-工艺工序。1.2、应用场景先填充工序信息,再设置工艺路线对应的工序;工序信息及工艺路线列表报表展示的是所有工序、工艺路线信息,可进行新增对应数据的操作。2、设置方法2.1、表…...

Window 安装 Docker

1.开启Hyper-v 2.确定后重启 3.双击安装包进行安装 4.安装完后系统重启 5.打开Docker软件提示:按下图操作后重启Docker 6.设置docker镜像仓库 { “experimental”: false, “features”: { “buildkit”: true }, “registry-mirrors”: [ “https://docker.mirr…...

最近很火的一部电视(狂飙)像安欣和高启强这样类型的人,谁更合适做软件测试工程师

狂飙》央视收视率狂飙。央视发布《狂飙》收视成绩,全剧平均收视1.54%,平均收视份额6.99%,单集最高收视率2.20%,单集最高收视份额10.69%;晚间电视剧类节目第一。可以说还部剧为今年开了个好头,一开年就引爆收…...

LSTM已死,Transformer当立(LSTM is dead. Long Live Transformers! ):上

回想一下在Seq2seq模型中,如何使用Attention。这里简要回顾一下【1】介绍的方法2(并以此为基础展开对Transformer的讨论)。 下图中包含一个encoder(左)和一个decoder(右)。对于decoder来说,给定一个输入,得到输出,如何进一步得到context vector 呢? 我们需要根据和…...

今天面试招了个18K的人,从腾讯出来的果然都有两把刷子···

公司前段时间缺人,也面了不少测试,前面一开始瞄准的就是中级的水准,也没指望来大牛,提供的薪资在15-20k,面试的人很多,但平均水平很让人失望。看简历很多都是4年工作经验,但面试中,不…...

洛谷 P5764 [CQOI2005]新年好

P5764 [CQOI2005]新年好 题目描述 重庆城里有 nnn 个车站,mmm 条双向公路连接其中的某些车站。每两个车站最多用一条公路连接,从任何一个车站出发都可以经过一条或者多条公路到达其他车站,但不同的路径需要花费的时间可能不同。在一条路径上…...

【自然语言处理】主题建模:BERTopic(实战篇)

主题建模:BERTopic(实战篇)BERTopic 是基于深度学习的一种主题建模方法。201820182018 年底,Devlinetal.Devlin\ et\ al.Devlin et al. 提出了 Bidirectional Encoder Representations from Transformers (BERT)[1]^{[1]}[1]。BER…...

k8s学习笔记

目录 一、安装前准备 二、安装 1、安装kubelet、kubeadm、kubectl 2、使用kubeadm引导集群 1、下载各个机器需要的镜像 2、初始化主节点 3、加入node节点 3、部署dashboard 1、主节点安装 2、设置访问端口 3、创建访问账号 4、令牌访问获取token 三、实战 1、资源创…...

web自动化测试入门篇05——元素定位的配置管理

😏作者简介:博主是一位测试管理者,同时也是一名对外企业兼职讲师。 📡主页地址:【Austin_zhai】 🙆目的与景愿:旨在于能帮助更多的测试行业人员提升软硬技能,分享行业相关最新信息。…...

C语言预处理

文章目录 目录 文章目录 前言 一、程序编译的过程 二、编译阶段 1.预处理(*.i) 2.编译(*.s) 3.汇编(*.o) 4.链接 总结 前言 提示:使用vs code(gcc编译器)与vs2022来演示c语言的预处理 提示:以下是本篇文章正文内容,下面…...

git报错大全,你将要踩的坑我都帮你踩了系列

使用git push -u origin master报下面的错: 使用git push -u origin master报下面的错: Updates were rejected because the remote contains work that you do not have locally,This is usually caused by another repository pushing to …...

LabVIEW中使用.NET方法时出现错误1316

LabVIEW中使用.NET方法时出现错误1316为什么不能调用带有泛型参数的方法?LabVIEW不支持哪些.NET功能?为什么会收到以下错误:发生此错误的原因是正在调用LabVIEW中不支持的.NET功能。有关解决方法,请参阅“其他信息”部分。可以在下…...

HTTP2.0 相比 HTTP1.0、HTTP1.1 有哪些重大改进?值得升级更换吗?

目录 HTTP1.0 HTTP1.1 HTTP2.0 主要特性对比 HTTP发展历史 HTTP2解决的问题 HTTP1.0 HTTP1.1 HTTP2.0...

九、Linux文件 - fopen函数和fclose函数讲解

目录 1.fopen函数 2.fclose函数 3.fopen函数和fclose实战 1.fopen函数 fopen fwrite fread fclose ...属于标准C库 include <stdio.h> standard io lib open close write read 属于Linux系统调用 可移植型&#xff1a;fopen > open&#xff08;open函数只在嵌入…...

轨迹预测算法vectorNet调研报告

前言 传统的行为预测方法是规则的&#xff0c;基于道路结构的约束生成多个行为假设。最近&#xff0c;很多基于学习的预测方法被提出。他们提出了对于不同行为假设的进行概率解释的好处&#xff0c;但是需要重构一个新的表示来编码地图和轨迹信息。有趣的是&#xff0c;虽然高精…...

基于STM32设计的避障寻迹小车

一、前言 1.1 项目背景 根据美国玩具协会在一项研究中&#xff0c;过去几年全球玩具销售增长与GDP的世界平均水平大致相同。但全球玩具市场的内部结构已经占据了巨大的位置变化&#xff1a;传统玩具的市场份额正在下降&#xff0c;高科技电子玩具正在蓬勃发展。全球玩具市场的…...

【视觉检测】使用opencv编写一个图片缺陷检测流程

1. 导入必要的库&#xff0c;如OpenCV&#xff0c;NumPy等。 2. 使用OpenCV读取图像&#xff0c;并将其转换为灰度图像。 3. 使用OpenCV的Canny边缘检测算法检测图像中的边缘。 4. 使用OpenCV的Hough变换算法检测图像中的线条。 5. 使用OpenCV的模板匹配算法检测图像中的缺…...

3.Dockerfile 定制镜像

3. Dockerfile 定制镜像 从上一节的docker commit的学习中&#xff0c;我们可以了解到&#xff0c;镜像的定制实际上就是定制每一层所添加的配置、文件等信息&#xff0c;但是命令毕竟只是命令&#xff0c;每次定制都得去重复执行这个命令&#xff0c;而且还不够直观&#xff…...

Web基础与HTTP协议

Web基础与HTTP协议一、Web基础与HTTP概述1、域名概念二、域名服务与域名注册1、域名定义2、域名服务三、网页访问&#xff08;http、https&#xff09;1、网页概述2、网页的基本标签四、Web1、Web概述2、Web1.0 Web2.0五、HTTP协议概述1、HTTP协议简介2、HTTP协议请求总结一、W…...

【化学试剂】endo-BCN-PEG4-Pomalidomide,(1R,8S,9S)-双环[6.1.0]壬-四聚乙二醇-泊马度胺纯度95%+

一、基础产品数据&#xff08;Basic Product Data&#xff09;&#xff1a;CAS号&#xff1a;N/A中文名&#xff1a;(1R,8S,9S)-双环[6.1.0]壬-四聚乙二醇-泊马度胺英文名&#xff1a;endo-BCN-PEG4-Pomalidomide二、详细产品数据&#xff08;Detailed Product Data&#xff09…...

全板电镀与图形电镀,到底有什么区别?

衔接上文&#xff0c;继续为朋友们分享普通单双面板的生产工艺流程。 如图&#xff0c;第四道主流程为电镀。 电镀的目的为&#xff1a; 适当地加厚孔内与板面的铜厚&#xff0c;使孔金属化&#xff0c;从而实现层间互连。 至于其子流程&#xff0c;可以说是非常简单&#x…...

Zabbix 构建监控告警平台(二)--

Apache监控示例&#xff08;图形监控&#xff09;模板TemplateZabbix Items 1.Apache监控示例&#xff08;图形监控&#xff09; 1.1创建主机组 在“配置”->“主机群组”->“创建主机群组” 填入组名“webserver_test” 创建完成之后可以在“配置”->"主机群组&…...

wordpress 不同分类不同模板/网站推广软件费用是多少

网卡绑定mode共有七种(0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6常用的有三种mode0&#xff1a;平衡负载模式&#xff0c;有自动备援&#xff0c;但需要”Switch”支援及设定。mode1&#xff1a;自动备援模式&#xff0c;其中一条线若断线&#xff0c;其他线路将会…...

江苏建设工程交易信息网站/长沙网站建设公司

传送&#xff1a;Word2Vec词嵌入向量延伸-原理剖析 基于Negative Sampling的word2vec模型原理 1.基于Hierarchical Softmax的梯度计算 与神经网路语言模型相比&#xff0c;霍夫曼树的所有内部节点类似神经网络隐藏层的神经元&#xff0c;根节点对应投影后的词向量&#xff0c;…...

做网站视频用哪个视频编辑软件/网络营销措施有哪些

* Collection集合 * 集合概念 是java提供的一种容易可以存放数据,和数组不同,数组的长度是不可变的,集合的数组是可变的 * 集合体系结构 collection list set ArrayList LinkedLIst HashSet TreeSet * 单列集合顶层父…...

成都网站建设网站制作/谷歌搜索引擎入口手机版

根据广义表的不同形式&#xff0c;可以用线性表、树和图等数据结构或其修改形式来存储和实现广义表。 对于定长的广义表可以用数组来存储&#xff0c;但是只能顺序地访问。最简单的方法是把括号也作为符号存储在数组中。 可以使用链表结构存储&#xff0c;广义表结点的定义如下…...

建设比较好网站/全网营销培训

JVM中线程的状态转换图 线程在一定条件下&#xff0c;状态会发生变化。线程一共有以下几种状态&#xff1a; 1、新建状态(New)&#xff1a;新创建了一个线程对象。 2、就绪状态(Runnable)&#xff1a;线程对象创建后&#xff0c;其他线程调用了该对象的start()方法。该状态的线…...

超市网站建设/西安网站制作建设

在做游戏场景的时候&#xff0c;由于一般场景大部分的物体都是静止不动的&#xff08;static&#xff09;&#xff0c;如果这些物体使用实时光照的话&#xff0c;会有很大的性能开销&#xff0c;比如物体的阴影。但是由于很多情况下&#xff0c;场景中大部分物体的位置不会在游…...