当前位置： 首页 > news >正文

大数据概述（林子雨慕课课程）

news 文章来源：https://blog.csdn.net/weixin_44911248/article/details/133691384 2025/1/11 12:58:29

文章目录

    • 1. 大数据概述
      • 1.1 大数据概念和影响
      • 1.2 大数据的应用
      • 1.3 大数据的关键技术
      • 1.4 大数据与云计算和物联网的关系
        • 云计算
        • 物联网

1. 大数据概述

  • 大数据的四大特点：大量化、快速化、多样化、价值密度低

1.1 大数据概念和影响

  • 大数据摩尔定律
image-20230926145239672

  • 大数据由结构化和非结构化的数据组成，非结构化的数据占比大，如图像数据

    image-20230926145401781

  • 结构化的数据就是关系数据库表中的图表数据

  • 非结构化的数据种类繁多

    image-20230926145534691

  • 大数据从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少，必须实现秒级决策

  • 价值密度低，商业价值高

  • 大数据的影响

    • 全样非抽样：因为现在存储廉价，数据可以全部保存，不在需要抽样进行统计分析
    • 效率而非精确：因为从前的抽样的结果误差放在全样上会被放大，现在基于全样的分析不存在效率问题
    • 相关而非因果：大数据时代追求的更多的追求数据之间的相关性，而非因果关系

1.2 大数据的应用

image-20230926150537411

1.3 大数据的关键技术

  • 四个关键技术
image-20230926150853710
  • 两大核心技术：分布式存储和分布式处理

    • 分布式存储：解决海量数据的存储问题

      • 分布式数据库，以及分布式文件系统

    • 分布式处理：解决海量数据的处理问题

      • 分布式并行处理技术
image-20230926151045548

  • 不同的计算模式需要不同产品：批处理、流计算、图计算、查询分析计算

    • MapReduce是批处理计算模式的典型代表，其无法满足实时要求
    • 流计算：流数据需要实时处理，给出实时响应，否则分析结果会失去商业价值
      • S4+Storm+Flume
    • 图计算：代表Goole Pregel 设计可以高效处理图流数据的产品
    • 查询分析计算：秒级响应，实现交互式计算，如Google Dremel、Hive、Cassandra
    image-20230926151927900

1.4 大数据与云计算和物联网的关系

云计算

  • 云计算：解决海量数据的分布式存储问题和分布式处理问题

    • 典型特征：虚拟化、多租户
    • 概念：云计算是通过网络以服务的方式为用户提供非常廉价的IT资源
    • 优势：企业无需自建IT基础设施，可以租用云端资源
    • 云的三种模式

  • 云计算的三种模式

    image-20230926152321989

    • 公有云：构建的云平台是面对所有公众服务的：如百度云

    • 私有云：企业内部自己构建的面对企业内部员工的云平台

    • 混合云：构建的云平台部分给自己用，部分给外面用

  • 三种云服务：

    image-20230926152709877

    • IaaS:基础设施即服务

      • 将基础设施（计算资源和存储）作为服务出租

    • PaaS：平台即服务

      • 开发云产品：在别人提供的云服务环境中，利用其提供的接口，开发各种云服务产品，也部署到其分布式环境中去

        image-20230926153034561

    • SaaS:软件即服务

      • 将云中心财务软件买卖给你

  • 虚拟化和多租户：

    image-20230926153457276

  • 云计算数据中心：各种数据和应用，并非在天上云端，而是位于数据中心里

    • 其应用广泛
    image-20230926153919564
物联网

  • 概念：物联网（IoT:The Internet of Things）物联网就是物物相连的互联网，是互联网的延伸

  • 物联网的层次架构

    image-20230926154132177

  • 物联网的关键技术：识别和感知技术

  • 物联网的应用：

    image-20230926154459910

  • 云计算和物联网的关系：

    image-20230926154650537

相关文章：

大数据概述（林子雨慕课课程）

文章目录 1. 大数据概述1.1 大数据概念和影响1.2 大数据的应用1.3 大数据的关键技术1.4 大数据与云计算和物联网的关系云计算物联网 1. 大数据概述 大数据的四大特点：大量化、快速化、多样化、价值密度低 1.1 大数据概念和影响 大数据摩尔定律 大数据由结构化和非…...

编程日记 2023/10/9 7:16:24

ES6 class类关键字super

super关键字 在 JavaSCript 中，能通过 extends 关键字去继承父类 super 关键字在子类中有以下用法： 当成函数调用 super() 作为 "属性查询" super.prop 和 super[expr] super() super 作为函数调用时，代表父类的构造函数。 ES6 要求…...

编程日记 2023/10/9 7:15:22

C++并发与多线程(4) | 传递临时对象作为线程参数的一些问题Ⅰ

一、陷阱1 写一个传递临时对象作为线程参数的示例： #include <iostream> #include <vector> #include <thread> using namespace std;void myprint(const int& i, char* pmybuf) {cout << i << endl;cout << pmybuf << endl;r…...

编程日记 2023/10/9 7:12:16

CentOS Integration SIG 正式成立

导读CentOS 董事会已批准成立 CentOS Integration Special Interest Group (SIG)。该小组旨在帮助那些在 Red Hat Enterprise Linux (RHEL) 或特别是其上游 CentOS Stream 上构建产品和服务的人员&#xff0c;验证其能否在未来版本中继续运行。 红帽 RHEL CI 工程师 Aleksandr…...

编程日记 2023/10/9 7:11:15

智能AI系统源码ChatGPT系统源码+详细搭建部署教程+AI绘画系统+已支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统&#xff0c;支持OpenAI GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美&#xff0c;可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作Chat…...

编程日记 2023/10/9 7:10:14

软考程序员考试大纲（2023）

文章目录 前言一、考试说明1.考试目标2.考试要求3&#xff0e;考试科目设置 二、考试范围考试科目1&#xff1a;计算机与软件工程基本知识1&#xff0e;计算机科学基础2&#xff0e;计算机系统基础知识3&#xff0e;系统开发和运行知识4&#xff0e;网络与信息安全基础知识5&am…...

编程日记 2023/10/9 7:06:07

【重拾C语言】七、指针（一）指针与变量、指针操作、指向指针的指针

目录 前言 七、指针 7.1 指针与变量 7.1.1 指针类型和指针变量 7.1.2 指针所指变量 7.1.3 空指针、无效指针 7.2 指针操作 7.2.1 指针的算术运算 7.2.2 指针的比较 7.2.3 指针的递增和递减 7.3 指向指针的指针 前言 指针是C语言中一个重要的概念正确灵活运用指针 可…...

编程日记 2023/10/9 7:05:06

Kafka源码简要分析

目录 一、生产者的初始化流程 二、生产者到缓冲队列的流程 三、Sender拉取数据到Kafka流程 四、消费者初始化 五、主题订阅原理 六、消费者抓取数据原理 七、消费者组初始化 八、消费者组消费流程 九、提交offset原理 一、生产者的初始化流程 首先获取事务id和客户端…...

编程日记 2023/10/9 7:04:04

react 按住ctrl键，点击时会出现菜单的问题修复

问题描述&#xff1a;我需要按住crtl键&#xff0c;然后鼠标点击后做一些逻辑操作&#xff0c;但是出现如下问题 问题一&#xff1a;按住ctrl键后&#xff0c;点击时不触发click事件&#xff0c;只触发 mousedown和mouseup事件。 问题二&#xff1a;按住ctrl键点击时出现菜单…...

编程日记 2023/10/9 7:03:03

【虚拟机栈】

文章目录 1. 虚拟机栈概述2. 局部变量表(Local Variables)3. 操作数栈4. 动态链接4.1 方法的调用&#xff1a;解析与分配 5. 方法返回地址6. 栈的相关面试题 1. 虚拟机栈概述 每个线程在创建时都会创建一个虚拟机栈&#xff0c;其内部保存一个个的栈帧&#xff08;Stack Frame…...

编程日记 2023/10/9 7:02:02

Linux系列讲解 —— 【fsck】检查并修复Linux文件系统

当文件系统出现损坏时&#xff0c;例如文件无法查看&#xff0c;删除等&#xff0c;可以使用 fsck&#xff08;File System Consistency Check&#xff09;进行修复。但是需要注意fsck在修复时&#xff0c;如果检查出某个文件有问题&#xff0c;可能会向用户请求删除。所以&…...

编程日记 2023/10/9 7:01:01

gitlab突然提示我要输入密码了。

用了很长时间的一个gitlab库&#xff0c;今天提交代码的时候突然提示我输入密码了&#xff0c;并且用户还是gitxx.xx.xx.xx的&#xff0c;瞬间懵逼。 想想原因&#xff0c;可能是因为我不久前设置了本地对另外一个git库的远程访问&#xff0c;用的是ssh&#xff0c;操作过程中可…...

编程日记 2023/10/9 6:59:59

业务测试常见问题(一)

如何多维度的分析一个需求&#xff1f; 功能维度&#xff1a;需求中所描述的功能是否实现&#xff0c;与用户的需求是否一致&#xff0c;是否完整符合用户的需求等。 安全性维度&#xff1a;是否有安全漏洞&#xff0c;是否存在未授权访问漏洞等&#xff0c;以保证系统的安全性…...

编程日记 2023/10/9 6:58:58

IntelliJ IDEA失焦自动重启服务的解决方法

IDEA 热部署特性 热部署&#xff0c;即应用正属于运行状态时&#xff0c;我们对应用源码进行了修改更新&#xff0c;在不重新启动应用的情况下&#xff0c;可以能够自动的把更新的内容重新进行编译并部署到服务器上&#xff0c;使修改立即生效。 现象 在使用 IntelliJ IDEA运…...

编程日记 2023/10/9 6:57:55

终端准入控制系统，保障企业内网安全的关键防线

随着网络技术的不断发展&#xff0c;企业面临的安全威胁也越来越多。终端作为承载企业业务的媒介&#xff0c;对内网资产安全有着重要影响。确保内网终端&#xff08;如PC、BYOD、IoT等&#xff09;能够得到统一管理&#xff0c;对保护内网安全很有必要。终端准入控制作为一种有…...

编程日记 2023/10/9 6:55:52

mysql-执行计划

1. 执行计划表概述 id相同表示加载表的顺序是从上到下。 id不同id值越大&#xff0c;优先级越高&#xff0c;越先被执行。id有相同&#xff0c;也有不同&#xff0c;同时存在。 id相同的可以认为是一组&#xff0c;从上往下顺序执行&#xff1b;在所有的组中&#xff0c;id的值…...

编程日记 2023/10/9 6:54:52

金蝶云星空和旺店通·企业奇门接口打通对接实战

金蝶云星空和旺店通企业奇门接口打通对接实战 接入系统&#xff1a;金蝶云星空 金蝶K/3Cloud&#xff08;金蝶云星空&#xff09;是移动互联网时代的新型ERP&#xff0c;是基于WEB2.0与云技术的新时代企业管理服务平台。金蝶K/3Cloud围绕着“生态、人人、体验”&#xff0c;旨在…...

编程日记 2023/10/9 6:53:50

在服务器上使用nginx改变前端项目请求的url

location /app-dev {rewrite ^/app-dev/(.*) /$1 break;proxy_pass http://152.136.36.251:9999;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr; } location /请求后缀 { rewrite ^/app-dev/(.*) /$1 break; proxy_pass 想要的请求后端的url; …...

编程日记 2023/10/9 6:52:49

【学习笔记】莫比乌斯反演

退役OIer回来受虐啦 一些定义 μ ( x ) { 1 x > 1 ( − 1 ) n x ∏ i 1 n P i 0 o t h e r w i s e \mu(x) \begin{cases} 1 & x > 1 \\ (-1)^n & x \prod _ {i1} ^ {n} P_{i}\\ 0 & otherwise \end{cases} μ(x)⎩ ⎨ ⎧​1(−1)n0​x>1x∏i1n​Pi…...

编程日记 2023/10/9 6:49:45

一款构建Python命令行应用的开源库

1 简介 当我们编写 Python 程序时&#xff0c;我们经常需要与用户进行交互&#xff0c;接收输入并输出结果。Python 提供了许多方法来实现这一点&#xff0c;其中一个非常方便的方法是使用 typer 库。typer 是一个用于构建命令行应用程序的 Python 库&#xff0c;它使得创建命令…...

编程日记 2023/10/9 6:47:44

10-Node.js模块化

01.模块化简介 目标 了解模块化概念和好处&#xff0c;以及 CommonJS 标准语法导出和导入 讲解 在 Node.js 中每个文件都被当做是一个独立的模块&#xff0c;模块内定义的变量和函数都是独立作用域的&#xff0c;因为 Node.js 在执行模块代码时&#xff0c;将使用如下所示的…...

编程日记 2023/10/9 6:44:40

数字IC前端学习笔记：数字乘法器的优化设计（Dadda Tree乘法器）

相关阅读 数字IC前端https://blog.csdn.net/weixin_45791458/category_12173698.html?spm1001.2014.3001.5482 华莱士树仍然是一种比较规则的结构&#xff08;这使得可以方便地生成树的结构&#xff09;&#xff0c;这导致了它所使用的全加器和半加器个数不是最少的&#xff…...

编程日记 2023/10/9 6:43:39

计算机专业毕业设计项目推荐14-文档编辑平台（SpringBoot+Vue+Mysql）

文档编辑平台&#xff08;SpringBootVueMysql&#xff09; **介绍****各部分模块实现** 介绍 本系列(后期可能博主会统一为专栏)博文献给即将毕业的计算机专业同学们,因为博主自身本科和硕士也是科班出生,所以也比较了解计算机专业的毕业设计流程以及模式&#xff0c;在编写的…...

编程日记 2023/10/9 6:40:36

【读书后台管理系统】—后端框架搭建（二）

【读书后台管理系统】—后端框架搭建&#xff08;二&#xff09; 一、 Node 简介 Node 是一个基于 V8 引擎的 Javascript 运行环境&#xff0c;它使得 Javascript 可以运行在服务端&#xff0c;直接与操作系统进行交互&#xff0c;与文件控制、网络交互、进程控制等 Chrome …...

编程日记 2023/10/9 6:39:35

【DLoopDetector（C++）】DBow2词袋模型loop close学习

0.前言 最近读了两篇论文&#xff0c;论文作者开源了一种基于词袋模型DBoW2库的DLoopDetector算法&#xff0c;自己运行demo测试一下 对应论文介绍&#xff1a;Bags of Binary Words for Fast Place Recognition in Image Sequences 开源项目Github地址&#xff1a;https://gi…...

编程日记 2023/10/9 6:38:34

什么是CAS机制？

CAS和Synchronized的区别是什么&#xff1f;适合什么样的场景&#xff1f;有什么样的优点和缺点&#xff1f; 示例程序&#xff1a;启动两个线程&#xff0c;每个线程中让静态变量count循环累加100次。 public class ThreadTest {private static int count 0;public static …...

编程日记 2023/10/9 6:37:32

Java多态详解

下面讲解一下Java中的多态机制&#xff0c;力求用最通俗易懂的语言&#xff0c;最精炼的话语&#xff0c;最生动的例子&#xff0c;深入浅出Java多态&#xff0c;帮助读者轻松掌握这个知识点。 什么是多态&#xff1f; 多态是指同一种行为具有多个不同表现形式的能力。 多态…...

编程日记 2023/10/9 6:36:31

Android中简单实现Spinner的数据绑定

Android中简单实现Spinner的数据绑定 然后声明对象实例并加入到arraylist里面,并设置spinner的适配器 Spinner Sp (Spinner).............// List<CItem > lst new ArrayList<CItem>(); CItem ct new CItem ("1","测试"); lst.Add(ct)…...

编程日记 2023/10/9 6:35:29

【版本控制工具二】Git 和 Gitee 建立联系

文章目录 前言一、Git 和 Gitee 建立联系1.1 任意目录下&#xff0c;打开 git bash 命令行&#xff0c;输入以下命令生成公钥1.2 配置SSH公钥1.3 进行全局配置 二、其它相关Git指令2.1 常用指令2.2 指令操作可能出现的问题 三、补充3.1 **为什么要先commit&#xff0c;然后pull…...

编程日记 2023/10/9 6:34:28

最新AI智能创作系统ChatGPT商业源码+详细图文搭建部署教程+AI绘画系统

一、AI系统介绍 SparkAi创作系统是基于国外很火的ChatGPT进行开发的Ai智能问答系统。本期针对源码系统整体测试下来非常完美&#xff0c;可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT&#xff1f;小编这里写一个详细图文教程吧&am…...

编程日记 2023/10/9 6:33:27

wordpress首页自定义缩略图/阿里大数据平台

1. AOP的相关概念1.1 AOP概述1.1.1 什么是AOPAOP&#xff1a;全程是Aspect Oriented Programming 即面向切面编程。是通过预编译方式和运行期动态代理实现程序功能的统一维护的一种技术。AOP是OOP的延续&#xff0c;是软件开发中的一个热点&#xff0c;也是Spring框架中的一个重…...

编程日记 2025/1/11 12:31:57

一建建设网站/全网营销国际系统

在查询时,我们如果要对用户的登录信息进行加密,通常会将其密码进行加密.1) 可以借助spring框架工具类DigestUtils2) 也可以使用shiro框架来实现//保存用户自身信息//1构建一个盐值对象String saltUUID.randomUUID().toString();//随机字符串//2对密码进行盐值加密(加密算法MD5-…...

编程日记 2025/1/11 10:42:27

福田网站建设方案服务/百度链接收录提交入口

系统迁移&#xff0c;能够帮我们大大的节约装系统或者数据搬迁的时间。系统迁移其本质是以一个硬盘或者分区为源目标&#xff0c;将其系统、数据文件克隆到另一个硬盘或者分区。DiskGenius、Norton ghost等工具都有克隆硬盘、分区的能力&#xff0c;但是用作系统迁移很麻烦&…...

编程日记 2025/1/11 10:17:49

昆明云南微网站搭建/爬虫搜索引擎

首先安装newman和newman-reporter-html winr打开命令窗口 npm install -g newman npm install -g newman-reporter-html 在postman中导出用例集 导出环境变量 生成报告步骤&#xff1a; 1、导出用例&#xff08;建议&#xff0c;创建空目录存储用例集&#xff0c;不建议目录…...

编程日记 2025/1/11 9:37:54

做网站一屏一屏的/厦门百度开户

OOP即Object-Oriented Programming(面向对象程序设计)就是选用面向对象的程序设计语言&#xff08;Object-Oriented Programming Language&#xff0c;OOPL&#xff09;&#xff0c;采用对象&#xff0c;类及其相关概念所进行的程序设计。 对面向对象的理解本身是无止境的&…...

编程日记 2025/1/11 6:34:27

网站建设分析报告/搜一搜

note:本文短代码实现环境&#xff1a;win10,python3 本文代码执行情况 python打开浏览器方法一&#xff1a; 通过引用os包&#xff0c;调用system方法调用系统的ie程序来打开网址 代码如下&#xff1a; import os os.system("C:/Program Files/Internet Explorer/iexplore…...

编程日记 2025/1/11 6:33:22