当前位置： 首页 > news >正文

00Hadoop数据仓库平台

news 文章来源：https://blog.csdn.net/qq_41758289/article/details/134697386 2024/11/20 22:25:13

在这里是学习大数据的第一站

  • 什么是数据仓库
  • 常见大数据平台组件及介绍

什么是数据仓库

在计算领域，数据仓库（DW 或 DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件。 数据仓库是来自一个或多个不同来源的集成数据的中央存储库。 它们将当前和历史数据存储在一个位置，用于为整个企业的员工创建分析报告。这对公司来说是有益的，因为它使他们能够询问数据并从数据中汲取见解并做出决策。

数据仓库概览

Extract, transform, load （ETL）是用于构建数据仓库系统的两种主要方法。

数据仓库的输入通常包括：业务数据、用户行为数据和爬虫数据等。

业务数据: 各行业在处理事务过程中产生的数据。比如用户在电商网站的登录、下单、支付等过程，和业务数据库进行的增删改查交互数据，这些产生的数据就是业务数据。业务数据通常存储在MySQL和Oracle中。

用户行为数据： 用户在使用产品的过程中，通过客户端交互的数据和业务埋点数据将发往服务器保存，例如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据往往存储在日志文件中。

常见大数据平台组件及介绍

技术选型主要考虑因素：数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算，常见的数据仓库平台选型如下：
在这里插入图片描述

  • 数据采集传输：Flume、Kafka、DataX、Maxwell，Sqoop，Logstash
  • 数据存储：MySQL，HDFS\ Hadoop，HBase，Redis，MongoDB
  • 数据计算：Hive，Spark，Flink，Storm，Tez
  • 即席查询：Presto，Kylin，Impala，Druid，ClickHouse，Doris
  • 数据可视化：Superset，Echarts，Sugar，QuickBI，DataV
  • 任务调度：DolphinScheduler，Azkaban，NIFI，Airflow
  • 集群监控：Zabbix，Prometheus
  • 元数据管理：Atlas
  • 权限管理：Ranger，Sentry

具体组件的介绍与安装，请点击各个组件名称进行跳转。

相关文章：

00Hadoop数据仓库平台

在这里是学习大数据的第一站 什么是数据仓库常见大数据平台组件及介绍 什么是数据仓库 在计算领域，数据仓库（DW 或 DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智…...

编程日记 2023/12/4 17:13:08

java-jar包

jar包类似于压缩包，主要是组织和分享自己的Java代码方便，将一组特定的java文件打包，一般是.class文件，不过并不限制文件类型，都可以打包。 jar包中包好清单文件，如果没有指定就会自动生成默认的&#xff0…...

编程日记 2023/12/4 17:08:03

Flink运行时架构核心概念

Flink运行时架构 JobManager：协调，决定何时调度下一个task，对失败任务做恢复。 ResourceManager: 负责Flink集群中的资源提供、回收、分配，它负责管理task slot。standalone模式下，不能自行启动新的taskmanagerDispatc…...

编程日记 2023/12/4 17:06:01

docker安装达梦数据库并挂在数据卷

离线包下载地址：请点击 1.在线下载 wget https://download.dameng.com/eco/dm8/dm8_20230808_rev197096_x86_rh6_64_single.tar2. 导入镜像 docker load -i dm8_20230808_rev197096_x86_rh6_64_single.tar3. 运行容器 docker run -d -p 5236:5236 --restartalwa…...

编程日记 2023/12/4 17:03:59

ROS第一个程序——helloworld

目录 一、工作空间的创建 1.创建工作空间并初始化 2.进入 src 创建 ros 包并添加依赖 二、C实现helloworld C源码实现 编辑 ros 包下的 Cmakelist.txt文件 进入工作空间目录并编译 执行 三、python实现helloworld 进入 ros 包添加 scripts 目录并编辑 python 文件 …...

编程日记 2023/12/4 16:59:54

【Python 训练营】N_17 冒泡排序

题目 列表L [3,2,5,6,1,3,8,1,9]，冒泡排序实现从小到大排列。 分析 冒泡排序的基本思想是从序列的第一个元素开始，依次比较相邻的两个元素，如果它们的顺序错误就交换它们的位置，直到整个序列有序为止。具体步骤如下&#xff1…...

编程日记 2023/12/4 16:58:54

虚拟机docker中的Nginx部署

Nginx部署 ： 1.搜索nginx镜像 docker search nginx 2.拉取nginx镜像 docker pull nginx 3.创建目录 mkdir nginx cd nginx mkdir conf cd conf vim nginx.conf 4.编写nginx.conf配置文件 user nginx; worker_processes 1; error_log /var/log/nginx/erro…...

编程日记 2023/12/4 16:56:52

06、pytest将多个测试放在一个类中

官方用例 # content of test_class.py # 实例1 class TestClass:def test_one(self):x "this"assert "h" in xdef test_two(self):x "hello"assert hasattr(x,"check")# content of test_class_demo.py # 每个测试都有唯一的类实例…...

编程日记 2023/12/4 16:52:49

实体类转SQL工具类

主要的目标是简化开发人员在有实体类的情况下时做的重复性工作，提高开发效率。 单个实体类的转换工具类 1.EntityToTableConverter工具类 import java.io.FileWriter; import java.io.IOException; import java.lang.reflect.Field; import java.math.BigDecimal…...

编程日记 2023/12/4 16:51:48

高端制造业中的通用性超精密3D光学测量仪器

超精密光学3D测量仪器具有高精度、自动化程度高、实时反馈和范围广等优势。它能够实现微米级别的精确测量，能够精确测量产品的尺寸、形状和表面粗糙度等，具有广泛的应用价值和重要意义。 超精密光学3D测量仪器配备多种传感器、控制器和计算机系统&#…...

编程日记 2023/12/4 16:49:46

微信公众号非静默授权获取头像和昵称

要在Vue前端应用程序中实现微信公众号非静默授权获取头像和昵称，您需要遵循以下步骤： 1.在微信公众平台上注册并创建一个公众号。 2.在Vue项目中安装wechat-js-sdk库，该库提供了与微信JS-SDK的交互功能。 npm install wechat-js-sdk --sav…...

编程日记 2023/12/4 16:48:45

Java项目学生管理系统四编辑学生

编辑学生 欢迎阅读本篇博客，今天我们将继续探索Java项目学生管理系统的功能，重点关注学生信息的修改模块。在学生管理系统中，修改学生信息是一个关键操作，通过该功能可以方便地更新学生的个人信息、成绩以及其他相关数据。通过本…...

编程日记 2023/12/4 16:46:43

不同数据库进行同步和增量数据（SQL server 与MySQL数据库为例）

场景 最近在做的一个项目需要将远程服务器的SQL server数据库中表的数据传输到本机的MySQL数据库中，并且远程的SQL server数据库表的数据会实时进行更新，并且差不多是一分钟内传输18条数据，例如现在是2023-12-4 15:09，在15:08这个…...

编程日记 2023/12/4 16:45:42

国内的几款强大的AI智能—AI语言模型

R5Ai智能助手是一款由百度研发的文心一言，它支持gpt4 / gpt-3.5 / claude，也支持AI绘画，每天提供十次免费使用机会，无需魔法。该智能助手具有以下优点：会画画，没有使用次数限制，可以在界面上找到…...

编程日记 2023/12/4 16:44:42

linux下恶意软件的七种反分析技术

7 类主流的 Linux 恶意软件反分析/检测躲避技术 反调试（Anti-Debug）: 软件调试是恶意软件分析的常⽤⼿段之⼀，但恶意软件可以通过识别调试器特征，实现⾃⾝恶意⾏为的隐藏，或导致调试失败，从⽽规避分析与检测…...

编程日记 2023/12/4 16:40:38

Spring Security OAuth2 认证服务器自定义异常处理

目录 前言WebResponseExceptionTranslator自定义异常处理1、自定义我们响应实体类2、定义响应结果枚举类3、自定义异常转换类4、配置自定义异常转换器5、测试 前言 Spring Security OAuth2 认证失败的格式如下 {"error": "unsupported_grant_type","…...

编程日记 2023/12/4 16:37:35

selenium环境安装

一、下载安装python 下载python安装python设置python环境变量安装selenium （1）下载python 您可以从Python官方网站（https://www.python.org/downloads/）下载Python。在页面上，您将看到不同版本的Python供您选择。根…...

编程日记 2023/12/4 16:34:32

(C++)和为s的两个数字--双指针算法

个人主页：Lei宝啊 愿所有美好如期而遇 和为S的两个数字_牛客题霸_牛客网输入一个升序数组 array 和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果。题目来自【牛客题霸】https://www.nowcoder.com/practice/390da4f7a…...

编程日记 2023/12/4 16:31:30

鸿蒙(HarmonyOS)应用开发——构建页面(题目答案)

判断题 1.在Column容器中的子组件默认是按照从上到下的垂直方向布局的，其主轴的方向是垂直方向，在Row容器中的组件默认是按照从左到右的水平方向布局的，其主轴的方向是水平方向。 正确(True) 2.List容器可以沿水平方向排列，也可…...

编程日记 2023/12/4 16:30:29

Python基础快速过一遍

文章目录 一、变量及基本概念1、变量2、变量类型3、变量格式化输出4、type()函数5、input()函数6、类型转换函数7、注释 二、Python运算/字符1、算数运算2、比较运算3、逻辑运算4、赋值运算符5、转义字符6、成员运算符 三、判断/循环语句1、if判断语句2、while循环语句3、for循…...

编程日记 2023/12/4 16:29:27

等保测评报价相差很大，里面有什么门道

等保测评报价的差异主要源于以下几点： 服务质量评估标准不同：不同的测评机构在测评过程中所提供的服务范围、深度、细节等方面可能存在差异，因此导致报价有所不同。一些机构可能提供全面且细致的测评服务，致力于提供高质量的等保测…...

编程日记 2023/12/4 16:28:26

MATLAB的rvctools工具箱熟悉运动学【机械臂机器人示例】

1、rvctools下载安装 rvctools下载地址：rvctools下载 截图如下，点击红色箭头指示的“Download Shared Folder” 即可下载 下载之后进行解压，解压到D:\MATLAB\toolbox这个工具箱目录，这个安装路径根据自己的情况来选择&#xff0c…...

编程日记 2023/12/4 16:24:22

如何精准操作无人机自动停机坪？

无人机自动停机坪通过自主导航和避障功能，实现了无人机的自主降落和起飞，在无人机技术领域起到了至关重要的作用。停机坪不仅仅是无人机的起降平台，还具备自动换电或充电等功能，为无人机的自动化提供了关键支持。为更有效地操作无…...

编程日记 2023/12/4 16:23:22

【蓝桥杯】带分数

带分数 题目要求用一个ab/c的形式得到一个值&#xff0c;而且只能在1~9里面不重复的组合。 可以对1~9进行全排列&#xff0c;然后不断划分区间。 #include<iostream> #include<vector> using namespace std; int st[15]; int num[15]; int res; int n;int calc(i…...

编程日记 2023/12/4 16:21:19

软件工程 课堂测验 选择填空

系统流程图用图形符号表示系统中各个元素&#xff0c;表达了系统中各个元素之间的 信息流动 喷泉模型是一种以用户需求为动力&#xff0c;以 对象 为驱动的模型。 软件生存周期中最长的是 维护 阶段。 变换流的DFD由三部分组成&#xff0c;不属于其中一部分的是 事务中心 软…...

编程日记 2023/12/4 16:20:18

计算机网络的分类

目录 一、按照传输介质进行分类 1、有线网络 2、无线网络 二、按照使用者进行分类 1、公用网 (public network) 2、专用网(private network) 三、按照网络规模和作用范围进行分类 1、PAN 个人局域网 2、LAN 局域网 3、MAN 城域网 4、 WAN 广域网 5、Internet 因特…...

编程日记 2023/12/4 16:19:17

百度收录批量查询工具，免费SEO优化排名工具

拥有一个在搜索引擎中得到良好收录的网站对于个人和企业都至关重要。而百度&#xff0c;作为中国最大的搜索引擎&#xff0c;其收录情况直接影响着网站的曝光度和流量。 百度搜索引擎是中文用户获取信息的重要途径之一。而在这个竞争激烈的网络环境中&#xff0c;了解自己网站…...

编程日记 2023/12/4 16:18:16

select选择框里填充图片，下拉选项带图片

遇到一个需求&#xff0c;选择下拉框选取图标&#xff0c;填充到框里 1、效果展示 2、代码 <el-form-item label"工种图标" class"Form_icon Form_label"><el-select ref"select" :value"formLabelAlign.icon" placeholder&…...

编程日记 2023/12/4 16:16:15

轨道交通数字孪生可视化平台，助力城市交通运营智慧化

随着经济和科技的快速发展&#xff0c;轨道交通运营管理在日常操作者面临各种挑战。数字孪生技术被认为是未来轨道交通运营管理的重要手段之一。它可以提高轨道交通的运营效率和安全性&#xff0c;助力城市交通运营智慧化。以城市轨道交通运维管理业务需求为导向,从数据感知、融…...

编程日记 2023/12/4 16:15:14

【每日OJ —— 101. 对称二叉树】

每日OJ —— 101. 对称二叉树 1.题目&#xff1a;101. 对称二叉树2.解法2.1.算法讲解2.2.代码实现2.3.提交通过展示 1.题目&#xff1a;101. 对称二叉树 2.解法 2.1.算法讲解 1.该题是判断二叉树是否对称&#xff0c;关键在于&#xff0c;左子树等于右子树&#xff0c;而所给的…...

编程日记 2023/12/4 16:14:13

设计师推荐网站/品牌营销

生产者与消费者 目录 多线程实例代码 一:线程运行状态:新建 -> 运行 -> 阻塞 -> 运行 -> 终止 二:一般的生产者与消费者模式&#xff08;三种线程协作通信的方式&#xff1a;suspend/resume、wait/notify、park/unpark */&#xff09; 三:线程池使用的案列 四…...

编程日记 2024/11/20 20:40:30

网站用ps下拉效果怎么做/广告联盟平台自动赚钱

中国新材料产业园区“十四五”投资规划及前景预测报告2022-2028年 $$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ 【报告编号】: 415216 【出版时间】: 2022年3月 【出版机构】: 中商经济研究网 第1章&#xff1a;中国新材料产业园区发展综述 1.1 新材料产业园定义 1.1.1 …...

编程日记 2024/11/20 20:22:55

涪陵建设工程信息网站/外链优化

.vue文件其实是一个组件&#xff0c;今天这篇文章要讲的是.vue文件中监听input的输入值变化事件。需求是这页面中&#xff0c;改变input的值&#xff0c;就调用一个事件&#xff0c;第一想到的是oninput。 oninput 事件在用户输入时触发&#xff0c;菜鸟教程中的用法是&#x…...

编程日记 2024/11/20 16:14:20

网站建设属于技术开发合同吗/网站查询seo

https://www.jb51.net/article/92575.htm...

编程日记 2024/11/20 8:50:32

东莞网站域名注册/seo和sem是什么意思啊

cocos2d-x引擎在内部实现了一个庞大的主循环&#xff0c;每帧之间更新界面&#xff0c;如果耗时的操作放到了主线程中&#xff0c;游戏的界面就会卡&#xff0c;这是不能容忍的&#xff0c;游戏最基本的条件就是流畅性&#xff0c;这就是为什么游戏开发选择C的原因。另外现在双…...

编程日记 2024/11/20 5:54:29

苏州网站开发的企业/百度竞价价格查询

原作AlunE, 链接&#xff1a;https://blog.51cto.com/alun51cto/2423000在django项目中, 一个工程中存在多个APP应用很常见&#xff1b;有时候希望不同的APP连接不同的数据库&#xff0c;这个时候需要建立多个数据库连接。默认数据库设置在Django的setting中使用DATABASES设置定…...

编程日记 2024/11/20 1:26:43