当前位置： 首页 > news >正文

数据仓库简介（一）

news 文章来源：https://blog.csdn.net/m0_58076578/article/details/142619326 2024/12/22 23:34:48

数据仓库概述

1. 什么是数据仓库？

数据仓库（Data Warehouse，简称 DW）是由 Bill Inmon 于 1990 年提出的一种用于数据分析和挖掘的系统。它的主要目标是通过分析和挖掘数据，为不同层级的决策提供支持，构成商业智能（BI）的一部分。

在这里插入图片描述

1.1 数据仓库的目标

数据仓库的核心目标是：

  • 分析与挖掘数据：提供决策支持。
  • 集中数据存储：从多种来源采集和抽取数据，形成企业数据的全局视图。
  • ETL 技术：通过数据抽取、转换和加载（ETL）技术实现数据的统一集成。

1.2 数据仓库的定义

数据仓库是一个：

  • 面向主题的：专注于特定的业务主题。
  • 集成的：从不同的数据源聚合数据。
  • 相对稳定的：数据在装入后一般不可更新，主要用于查询。
  • 反映历史变化的：保存历史数据，支持管理决策。

在这里插入图片描述

4. 数据仓库的特点

面向主题

数据仓库专注于特定业务领域，仅保留与该主题相关的数据，排除无关细节。

随时间变化

数据仓库能够保存历史数据，支持基于时间变化的分析，通常使用拉链表的方式在保证访问历史快照的同时降低存储空间。

集成的

通过 ETL 操作，将来自不同来源的数据集成到统一的数据仓库中。

数据不可更新

数据仓库的数据在加载后主要进行查询操作，不支持传统数据库的增删改操作，反映的是长时间范围内的历史数据。

5. 数据仓库与关系型数据库区别

特性数据仓库 /Hive关系型数据库/Mysql,Oracle
数据范围历史的/完整的/反映历史变化的数据当前在线交易状态数据
数据变化可添加/无删除/无更新/反应历史变化支持频繁的增删改查
应用场景BI、支持战略决策面向业务交易/事务流程
设计理论面向主题设计、违背范式、适当冗余面向事务设计、遵循范式、避免冗余
处理特点非频繁/大批量/高吞吐/有延迟频繁/小批次/高并发/低延迟
服务对象分析数据、服务于决策支持捕获数据、服务于业务操作人员

在这里插入图片描述

相关文章：

数据仓库简介（一）

数据仓库概述 1. 什么是数据仓库？ 数据仓库（Data Warehouse，简称 DW）是由 Bill Inmon 于 1990 年提出的一种用于数据分析和挖掘的系统。它的主要目标是通过分析和挖掘数据，为不同层级的决策提供支持，构成…...

编程日记 2024/10/4 5:05:02

Kafka和RabbitMQ区别

RabbitMQ的消息延迟是微秒级，Kafka是毫秒级（1毫秒1000微秒） 延迟消息是指生产者发送消息发送消息后，不能立刻被消费者消费，需要等待指定的时间后才可以被消费。 Kafka的单机呑吐量是十万级，RabbitMQ是万级…...

编程日记 2024/10/4 5:04:01

go-zero学习

go-zero官网： https://go-zero.dev/docs/tasks 好文： https://blog.csdn.net/m0_63629756/article/details/136599547 视频： https://www.bilibili.com/video/BV18JxUeyECg 微服务基础 根目录下，一个文件夹就是一个微服务。如果微…...

编程日记 2024/10/4 5:00:58

python如何查询函数

1、通用的帮助函数help() 使用help()函数来查看函数的帮助信息。 如： import requests help(requests) 会有类似如下输出： 2、查询函数信息 ★查看模块下的所有函数： dir(module_name) #module_name是要查询的函数名 如： i…...

编程日记 2024/10/4 4:59:57

计算机视觉与深度学习 | 从激光雷达数据中提取地面点和非地面点（附matlab代码）

===================================================== github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 ===================================================== 激光雷达数据 使用velodyneFileReader函数从P...

编程日记 2024/10/4 4:58:56

vulnhub-wakanda 1靶机

vulnhub：wakanda: 1 ~ VulnHub 导入靶机，放在kali同网段，扫描 靶机在192.168.81.5，扫描端口 四个端口，详细扫描一下 似乎没什么值得注意的，先看网站 就这一个页面，点按钮也没反应，扫…...

编程日记 2024/10/4 4:56:54

Bilibili视频如何保存到本地

Bilibili(哔哩哔哩)作为中国领先的视频分享平台之一，汇聚了大量的优质内容，从搞笑动画、综艺节目到专业教程，应有尽有。许多用户时常会遇到这样的需求：希望将视频保存到本地，方便离线观看或者保存珍藏。由于版权保护等…...

编程日记 2024/10/4 4:54:52

C++之多线程

前言 多线程和多进程是并发编程的两个核心概念，它们在现代计算中都非常重要，尤其是在需要处理大量数据、提高程序性能和响应能力的场景中。 多线程的重要性： 资源利用率：多线程可以在单个进程中同时执行多个任务，这可以更有效地利用CPU资源，特别是在多核处理器上。 性…...

编程日记 2024/10/4 4:52:50

《C++音频降噪秘籍：让声音纯净如初》

在音频处理领域，降噪是一项至关重要的任务。无论是录制音乐、语音通话还是音频后期制作，都需要有效地去除背景噪声，以获得清晰、纯净的音频效果。在 C中实现高效的音频降噪处理，可以为音频应用带来更高的质量和更好的用户体验。本…...

编程日记 2024/10/4 4:51:48

C（十）for循环 --- 黑神话情景

前言： "踏过三界宝刹，阅过四洲繁华。笑过五蕴痴缠，舍过六根牵挂。怕什么欲念不休，怕什么浪迹天涯。步履不停，便是得救之法。" 国际惯例，开篇先喝碗鸡汤。 今天，杰哥写的 for 循环相…...

编程日记 2024/10/4 4:48:44

记录一次docker报错无法访问文件夹，权限错误问题

记录一次docker报错无法访问文件夹，权限错误问题 1. 背景 使用docker安装photoview，为其分配了一个cache目录，用户其缓存数据。在运行过程中，扫描文件后显示如下错误 could not make album image cache directory: mkdir /app/c…...

编程日记 2024/10/4 4:47:43

react crash course 2024(8) useEffect

引入 import { useEffect } from react; useEffect – React 中文文档useEffect 是一个 React Hook，它允许你 将组件与外部系统同步。 有些组件需要与网络、某些浏览器 API 或第三方库保持连接，当它们显示在页面上时。这些系统不受 React 控制&#xff0…...

编程日记 2024/10/4 4:46:42

GEE开发之Modis_NDWI数据分析和获取

GEE开发之Modis_NDWI数据分析和获取 0 数据介绍NDWI介绍MOD09GA介绍 1 NDWI天数据下载2 NDWI月数据下载3 NDWI年数据下载 前言：本文主要介绍Modis下的NDWI数据集的获取。归一化差异水指数 (NDWI) 对植被冠层液态水含量的变化很敏感。它来自近红外波段和第二个红外波…...

编程日记 2024/10/4 4:45:40

netty之NettyClient半包粘包处理、编码解码处理、收发数据方式

前言 Netty开发中，客户端与服务端需要保持同样的；半包粘包处理，编码解码处理、收发数据方式，这样才能保证数据通信正常。在前面NettyServer的章节中我们也同样处理了；半包粘包、编码解码等，为此在本章节我们…...

编程日记 2024/10/4 4:44:39

Linux：文件描述符介绍

文章目录速览 1、虚拟地址空间(1)What（什么是虚拟地址空间）(2)Why（为什么需要虚拟地址空间） 2、文件描述符(1)What（什么是文件描述符）(2)文件描述符表 1、虚拟地址空间 (1)What（什么是虚拟地址…...

编程日记 2024/10/4 4:43:38

stm32f103调试，程序与定时器同步设置

在调试定时器相关代码时，注意到定时器的中断位总是置1，怀疑代码有问题，经过增大定时器的中断时间，发现定时器与代码调试并不同步，这一点对于调试涉及定时器的代码是非常不利的，这里给出keil调试stm32使定时…...

编程日记 2024/10/4 4:42:37

《Python编程:从入门到实践》数据可视化

一、项目 数据可视化学习 二、库依赖 matplotlib，pygal， 三、生成数据 1.绘制简单的折线图 import matplotlib.pyplot as pltsquares [1, 4, 9, 16, 25] plt.plot(squares) plt.show() 模块pyplot包含很多用于生成图表的函数。 （1&am…...

编程日记 2024/10/4 4:39:34

github/git密钥配置与使用

零、前言 因为要在ubuntu上做点东西，发现git clone 的时候必须输账户密码，后来发现密码是token，但是token一大串太烦了，忙了一天发现可以通过配置 公钥 来 替代 http 的 部署方式。 一、生成 ssh 密钥对 我们先测试下能不能 连接…...

编程日记 2024/10/4 4:38:33

BiLSTM模型实现电力数据预测

基础模型见：A020-LSTM模型实现电力数据预测 1. 引言 时间序列预测在电力系统管理、负荷预测和能源优化等领域具有重要意义。传统的单向长短期记忆网络（LSTM）因其在处理时间序列数据中的优势，广泛应用于此类任务。然而&#xff0…...

编程日记 2024/10/4 4:36:31

VMware ESXi 6.7U3u macOS Unlocker 集成驱动版更新 OEM BIOS 2.7 支持 Windows Server 2025

VMware ESXi 6.7U3u macOS Unlocker & OEM BIOS 2.7 集成 Realtek 网卡驱动和 NVMe 驱动 (集成驱动版) UI fix 此版本解决的问题：VMware Host Client 无法将现有虚拟磁盘 (VMDK) 附加到虚拟机 请访问原文链接：https://sysin.org/blog/vmware-esxi-…...

编程日记 2024/10/4 4:35:30

一个简单的SQL面试题

最近面试遇到一个SQL题，复述如下： SQL面试题 现在有两张表，结构如下： 学生表（student） 学号sid姓名name1张三2李四3王五 成绩表（score） 序号id学号sid科目subject分数score11语…...

编程日记 2024/10/4 4:32:25

网站服务器在不同操作系统上监听端口情况的方法

网站服务器监听端口的情况通常需要通过一些命令行工具来进行检查，这样可以查看哪些进程在监听特定的端口，以及它们的状态。以下是在不同操作系统上可以使用的几种方法： Windows系统 1. 使用netstat命令 打开命令提示符(cmd)，然后输…...

编程日记 2024/10/4 4:25:17

RabbitMQ篇（基本介绍）

目录 一、MQ 1. 什么是MQ 2. 为什么要用MQ【业务场景】 2.1. 异步 2.2. 应用解耦 2.3. 流量削峰 3. MQ的分类 （1）ActiveMQ （2）Kafka （3）RocketMQ （4）RabbitMQ 4. MQ 的选…...

编程日记 2024/10/4 4:24:16

浅谈网络通信中的透传和非透传

在网络通信中，透传（Transparent Transmission）和非透传（Non-Transparent Transmission）是两种不同的数据传输模式，尤其在使用ESP8266这类WiFi模块时，这两种模式有其特定的应用场景： …...

编程日记 2024/10/4 4:22:15

影视cms泛目录用什么程序？苹果cms二次开发泛目录插件

影视CMS泛目录一般使用的程序有很多种，（maccmscn）以下是其中几种常见的程序： WordPress：WordPress是一个非常流行的开源内容管理系统，可以通过安装一些插件来实现影视CMS泛目录功能。其中，一款常…...

编程日记 2024/10/4 4:20:13

IP6537_C_30W20V--移动设备快充的得力助手，集成 14 种快充协议的降压 SoC

IP6537_C_30W20V是一款集成同步开关的降压转换器、支 持 14 种输出快充协议、支持 Type-C 输出和 USB PD2.0/PD3.0(PPS)协议的 SoC，为车载充电器、 快充适配器、智能排插提供完整的解决方案。 IP6537_C_30W20V支持 USB Type-C 或者 USB A 输出， 5V 输出功…...

编程日记 2024/10/4 4:13:05

【hot100-java】【寻找两个正序数组的中位数】

二分查找篇 如果使用之前的两个指针分别遍历再合并的话就已经超过时间复杂度了。。 class Solution {public double findMedianSortedArrays(int[] nums1, int[] nums2) {int mnums1.length;int nnums2.length;if(m>n){return findMedianSortedArrays(nums2,nums1);}int tot…...

编程日记 2024/10/4 4:12:04

C++七种异常处理

在C++中，使用异常机制可以提高程序的健壮性和可维护性。异常是在程序运行时发生的一个事件，它会打断正在执行的程序的正常流程。C++异常处理机制可以使程序在出现异常时，进行异常处理，而不是退出程序。 基本的异常处理 #include <iostream> using namespace std;int …...

编程日记 2024/10/4 4:11:03

【C语言系统编程】【第三部分：网络编程】3.3 实践与案例分析

3.3 实践与案例分析 在本章节中&#xff0c;我们将通过一些具体的案例来展示如何在实际项目中进行网络编程。这些案例不仅能帮助你理解各个概念&#xff0c;还能提升你的实践技能&#xff0c;并为你将来的项目提供参考。 3.3.1 案例分析&#xff1a;简单的聊天室 聊天室是网…...

编程日记 2024/10/4 4:05:59

Unity3D播放GIF图片 插件播放

系列文章目录 unity工具 文章目录 系列文章目录👉前言👉一、效果图👉二、使用方法1.代码如下👉三、壁纸分享👉总结👉前言 unity播放gif图片,本身是不支持的,但是可以使用其他方法来实现,有一种使用System.Drawing来实现播放的,一种是让UI把图片导出成帧动画图片,…...

编程日记 2024/10/4 4:03:57

公司官网网站建设/企业网站优化方案案例

1. #{}和${}的区别是什么&#xff1f;#{}是预编译处理&#xff0c;${}是字符串替换。Mybatis在处理#{}时&#xff0c;会将sql中的#{}替换为?号&#xff0c;调用PreparedStatement的set方法来赋值&#xff1b;Mybatis在处理时&#xff0c;就是把{}替换成变量的值。使用#{}可以有…...

编程日记 2024/12/22 22:54:46

深圳官网网站建设/汕头网站建设平台

SVN是一个开放源代码的版本控制系统&#xff0c;相信做开发的基本上都用过&#xff0c;这里就不多介绍了。团队协作开发时常常会出现提交的文档互相冲突的问题&#xff0c;这里给大家介绍一下给SVN文件设置必须锁定的方法&#xff0c;当然你也可以对冲突文档进行合并处理&#…...

编程日记 2024/12/22 22:01:03

网站项目建设申请汇报大纲/手机如何做网站

要输出所有路径&#xff0c;又要字典序&#xff0c;dfs最适合了&#xff0c;用并查集判断1和目的地是否连通即可 #include<bits/stdc.h> using namespace std; const int maxn 21;int p[maxn],cnt[maxn]; void init(int n) {for(int i 1;i < n; i) p[i] i,cnt[i] …...

编程日记 2024/12/22 19:37:27

网站交互图片怎么做/深圳网站开发技术

文章目录1 课文2 单词2.1 pub [pʌb] n. 小酒店,小酒馆2.2 landlord [ˈlndlɔ:d] n. 店主&#xff0c;房东&#xff0c;业主&#xff0c;老板2.3 bill [bɪl] n. 账单&#xff0c;单据&#xff0c;清单&#xff0f;钞票&#xff0f;法案&#xff0f;广告3 语法3.1 have 实义动…...

编程日记 2024/12/22 16:53:39

做设计接私活的网站/网络品牌推广

姓名&#xff1a;王强性别&#xff1a;男所在学院&#xff1a;计算机科学与技术学院职称&#xff1a;讲师研究领域与方向&#xff1a;1&#xff0e;面向区域的嵌入式软件技术环境研究 国家高技术研究发展计划(863) 2004-10-01 - 2017-10-012&#xff0e;面向移动通信终端的嵌入…...

编程日记 2024/12/22 16:26:23

企业网站开发意义/秦皇岛seo优化

本文由运营公举小磊磊(公众号ID&#xff1a;gongjulei)独家原创&#xff0c;首发于2019-03-10&#xff0c;未经许可&#xff0c;不得转载。好的新媒体工具&#xff0c;能缩减大量工作时间&#xff0c;提高工作效率。比如怎么做思维导图&#xff1f;怎么录制本地视频&#xff1f…...

编程日记 2024/12/22 15:18:49