当前位置：首页 > news >正文

大数据-hadoop

news 文章来源：https://blog.csdn.net/highly2009/article/details/133151402 2025/1/17 21:35:09

1.hadoop介绍

1.1 起源

1.2 版本

1.3生产环境版本选择

Hadoop三大发行版本:Apache、Cloudera、Hortonworks

Apache版本最原始的版本

Cloudera在大型互联网企业中用的较多

Hortonworks文档较好

1.4架构

hadoop由三个模块组成

分布式存储HDFS

分布式计算MapReduce

资源调度引擎Yarn

分布式文件存储系统HDFS

NameNode主节点主要负责管理集群，保存元数据信息

SecondaryNameNode辅助NameNode做元数据信息备份

DataNode从节点存储数据

资源管理调度系统yarn

ResourceManage主节点主要负责资源调度分配

NodeManager从节点

2.hadoop安装

2.1.关闭防火墙、selinux

### 1.关闭防火墙systemctl stop firewalld
systemctl enable firewalld###  2.关闭selinuxvi /etc/sysconfig/selinux
SELINUX=disabled

2.2配置hostname

2.3.机器时钟同步

1.通过网络进行时钟同步
安装ntpdate

yum -y install ntpdate

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

定时同步
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

大数据-hadoop

1.hadoop介绍 1.1 起源 1.2 版本 1.3生产环境版本选择 Hadoop三大发行版本:Apache、Cloudera、Hortonworks Apache版本最原始的版本 Cloudera在大型互联网企业中用的较多 Hortonworks文档较好 1.4架构 hadoop由三个模块组成分布式存储HDFS 分布式计算MapReduce 资源调度引擎Y…...

编程日记 2023/9/29 0:10:14

容器启动报错

容器启动报错 docker: Error response from daemon: driver failed programming external connectivity on endpoint XXX 如下： 据百度： 在docker启动后在，再对防火墙firewalld进行操作，就会发生上述报错详细原因&#xff1a…...

编程日记 2023/9/29 0:08:12

求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux

求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux 大家好我是艾西，在上一篇文章中我用windows系统给搭建演示了一遍怎么搭建自己的L4D2游戏。那么也有不少小伙伴想知道linux系统的搭建方式以及在这个过程中有什么区别。那么艾西今天就跟大家分享下用lin…...

编程日记 2023/9/29 0:06:10

IntelliJ IDEA 左侧Commit栏不见了

1.点击File->Settings->Version Control->Commit 2.勾选Use non-modal commit interface...

编程日记 2023/9/29 0:05:10

使用自功率谱、互功率谱估计滤波器幅频特性

这段时间终于对工程中的随机信号的一般处理方式有点头绪了，功率谱密度估计是十分重要的方式之一，仍需继续深入细化相关内容。示例：使用自功率谱、互功率谱估计滤波器幅频特性，自己实现 & Matlab自带函数实现。 clc;clear;cl…...

编程日记 2023/9/29 0:03:07

51单片机光照强度检测自动路灯开关仿真( proteus仿真+程序+报告+讲解视频）

51单片机光照强度检测自动路灯开关仿真( proteus仿真程序报告讲解视频） 仿真图proteus7.8及以上程序编译器：keil 4/keil 5 编程语言：C语言设计编号：S0052 讲解视频基于51单片机的光照检测自动路灯控制仿真设计( proteus仿…...

编程日记 2023/9/29 0:01:05

socat管理haproxy配置

文章目录前言一、配置二、简单使用1. 先安装 socat2. 获取 haproxy 的监控数据总结前言我们可以通过 socat 命令实现对 haproxy 的管理，包括获取监控数据，对后端服务器实现启动停止，服务流量控制等等。一、配置要想 haproxy 支持通过…...

编程日记 2023/9/29 0:00:05

Linux发行版X华为鲲鹏openEuler

前言作为硬件和软件之间的桥梁，我接触的最多的就是Windows和Centos，还记得最初的鸟哥的Linux私房菜，而Centos即将停止维护更新（Centos7维护到2024），对于个人学习来说没有任何影响，但是对于企业…...

编程日记 2023/9/28 23:57:01

计算机网络相关知识点

谈一谈对OSI七层模型和TCP/IP四层模型的理解？ 这两种模型都是网络通信中重要的参考模型,他们的设计和功能有一些区别。首先OSI，OSI七层模型，也被称为开放系统互联参考模型，是一种在国际标准化组织（ISO）中…...

编程日记 2023/9/28 23:56:00

Jmeter+Ant+Git+Jenkins持续集成介绍

【软件测试面试突击班】如何逼自己一周刷完软件测试八股文教程，刷完面试就稳了，你也可以当高薪软件测试工程师（自动化测试） 一简介 1.什么是ant? ant是构建工具 2.什么是构建概念到处可查到，形象来说&#xff…...

编程日记 2023/9/28 23:52:58

Spring Cloud Gateway实战WebFlux解析请求体及抛出指定错误代码和信息

概述基于Spring Cloud开发微服务时，使用Spring Cloud原生自带的Gateway作为网关，所有请求都需要经过网关服务转发。为了防止恶意请求刷取数据，对于业务请求需要进行拦截，故而可在网关服务增加拦截过滤器。基于此，有…...

编程日记 2023/9/28 23:46:53

Servlet开发-通过代码案例熟悉HttpServletRequest类

关于Servlet开发的流程推荐看servlet开发-通过Tomcat部署一个简单的webapp Servlet开发与idea集成的插件安装推荐看idea集成tomcat（Smart Tomcate插件安装） postman（第三方创建HTTP请求工具）的安装推荐看创建HTTP请求的几种方式…...

编程日记 2023/9/28 23:40:46

离线环境harbor 搭建及使用

一摘要本文主要介绍harbor 的安装及使用。二环境信息及部署图 2.1 环境信息名称版本备注操作系统centos7.9容器docker 23.0.1harbor2.7代理nginx待补充 2.2 架构图说明： 1.harbor 核心服务里有个nginx ，也可以用该nginx 做代理 2.proxy-ngin…...

编程日记 2023/9/28 23:39:45

华为杯数学建模比赛经验分享

再过一周左右,第二十届华为杯数学建模比赛就要开赛了，所以今天分享一下个人数学建模比赛的经验。今天给大家分享一期关于华为杯数学建模比赛的经验分享，我将从以下三个方面展开说明： （1）如何准备数学建模比赛&#x…...

编程日记 2023/9/28 23:34:41

c语言 - 实现每隔1秒向文件中写入当前系统时间

实现思路主要是通过库函数和结构体获取当前系统时间（年月日和时分秒）保存到变量里，然后通过格式化输出函数将当前系统时间输出到文件中去。但是需要注意的是题目要求每隔 1 s对系统时间进行输出，所以需要加入 sleep()函数进行调…...

编程日记 2023/9/28 23:32:39

使用cpolar端口映射的方法轻松实现在Linux环境下SVN服务器的搭建与公网访问

文章目录前言1. Ubuntu安装SVN服务2. 修改配置文件2.1 修改svnserve.conf文件2.2 修改passwd文件2.3 修改authz文件 3. 启动svn服务4. 内网穿透4.1 安装cpolar内网穿透4.2 创建隧道映射本地端口 5. 测试公网访问6. 配置固定公网TCP端口地址6.1 保留一个固定的公网TCP端口地址6…...

编程日记 2023/9/28 23:31:38

前后台分离开发 YAPI平台前端工程化之Vue-cli

目录 YAPI介绍前端工程化之Vue-cli前端工程化简介前端工程化入门——Vue-cli环境准备Vue项目简介创建Vue项目vue项目目录结构介绍vue项目运行方法 Vue项目开发流程前后台混合开发这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题&#xff0…...

编程日记 2023/9/28 23:30:37

目录随机生成字符串每十个字符换行随机生成字符串 function generateRandomAlphaNum(len) {var rdmString "";for (; rdmString.length < len; rdmString Math.random().toString(36).substr(2));return rdmString.substr(0, len); }每十个字符换行 string.…...

编程日记 2023/9/28 23:29:36

Nginx modules build fail:field ‘pkt6’ has incomplete type

前言最近升级Nginx 1.24.0，编译第三方module出错： /usr/src/nginx_modules/ngx_json_post_module/src/ngx_json_post_module.c In file included from src/event/ngx_event.h:526,from src/http/ngx_http_upstream.h:14,from src/http/ngx_http.h:34,…...

编程日记 2023/9/28 23:28:34

电脑突然提示mfc140u.dll丢失，缺失mfc140u.dll无法运行程序的解决方法

在当今信息化社会，电脑已经成为我们生活和工作中不可或缺的一部分。然而，随着技术的不断发展，电脑也会出现各种问题。其中，最常见的问题之一就是“mfc140u.dll丢失”。那么，当我们遇到这个问题时，应该如何解…...

编程日记 2023/9/28 23:26:32

国庆day1

消息队列代码发送 #include<myhead.h> //声明一个消息结构体 typedef struct {long msgtype; //消息类型char data[1024]; //消息正文 }Msg_s; #define SIZE sizeof(Msg_s)-sizeof(long) //消息正文的大小 int main(int argc, const char *argv[]) {key_t key; /…...

编程日记 2023/9/28 23:25:31

从零开始之了解电机及其控制（11）实现空间矢量调制

广泛地说，空间矢量调制只是将电压矢量以及磁场矢量在空间中调制到任意角度，通常同时最大限度地利用整个电压范围。其他空间矢量调制模式确实存在，并且根据您最关心的内容，它们可能值得研究。如何实际执行这种所谓的交替反向序列…...

编程日记 2023/9/28 23:23:28

如何将html转换成markdown

什么是Turndown “Turndown” 是一个用于将 HTML 转换为 Markdown 的 JavaScript 库。它通常用于将富文本内容从网页或其他 HTML 格式转换为纯文本 Markdown 格式，以便在不同平台上显示或存储。如果在有node环境的情况下要使用 Turndown，首先需要将它…...

编程日记 2023/9/28 23:19:24

【VUE复习·3】@keyup.xxx 键盘事件触发函数（单按键 or 组合按键触发）

总览 1.keyup.xxx or keydown.xxx 单按键触发 2.组合按键触发一、keyup.xxx or keydown.xxx 1.用法在我们使用 keyup.enter 时，那么我们可以这样写： <div><input type"text" placeholder"按下回车键以确定..." keyu…...

编程日记 2023/9/28 23:18:23

IntelliJ IDEA学习总结（3）—— IntelliJ IDEA 常用快捷键（带动图演示）

一、构建/编译 Ctrl + F9：构建项目该快捷键，等同于菜单【Build】—>【Build Project】执行该命令后，IntelliJ IDEA 会编译项目中所有类，并将编译结果输出到out目录中。IntelliJ IDEA 支持增量构建，会在上次构建的基础上，仅编译修改的类。 Ctrl + Shift + F9：重新编…...

编程日记 2023/9/28 23:17:22

巨人互动|Facebook海外户Facebook的特点优势

Facebook作为全球最大的社交媒体平台之一，同时也是最受欢迎的社交网站之一，Facebook具有许多独特的特点和优势。本文小编将说一些关于Facebook的特点及优势。 1、全球化 Facebook拥有数十亿的全球用户，覆盖了几乎所有国家和地区。这使得人们…...

编程日记 2023/9/28 23:16:20

（vue3）create-vue 组合式API

优势： 更易维护：组合式api，更好的TS支持之前是选项式api，现在是组合式，把同功能的api集合式管理复用功能封装成一整个函数更快的速度更小的体积更优的数据响应式：Proxy create-vue 新的脚手架工…...

编程日记 2023/9/28 23:14:18

【如何看待Unity收费】对标中小公司的待就业者的该如何做

👨‍💻个人主页：元宇宙-秩沅 👨‍💻 hallo 欢迎点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由秩沅原创 👨‍💻 收录于专栏：Uni…...

编程日记 2023/9/28 23:13:17

c++迷宫小游戏

一、总结一句话总结： 显示：根据map数组输出图像走动：修改map数组的值，每走一步重新刷新一下图像就好 1、如果走函数用z()，出现输入s会向下走多步的情况，原因是什么？ 向下走两层循环ij增加&a…...

编程日记 2023/9/28 23:12:16

需求堆积，如何排序产品优先极

面对堆积的产品需求，到底该如何排序优先极呢？ 需求排期的目标在谈具体的排期方法之前，有必要先探讨一下——合理的需求排期应该达到什么的目标呢？如果站在与项目相关的利益人员的角度来看，至少应该使以下四方面的收…...

编程日记 2023/9/28 23:11:15

四川网站设计首选柚米科技/模板建站网页

1、HTML静态化 2、图片服务器分离 3、数据库集群和库表散列 4、缓存 5、镜像 6、负载均衡...

编程日记 2025/1/17 18:57:32

广州餐饮网站建设/seo网站关键词优化方式

实验室通风柜在实验室中起到了决定性的作用，因为这关系到实验室内的环境是不是遭到破坏，实验室人员的身体健康问题等。那么通常在实验过程中，一些化学实验可能会导致一些粉尘及有害气体的出现，即使在我们做好防护的同时&#xff0…...

编程日记 2025/1/17 18:36:18

做自己个人网站/安卓优化大师下载安装到手机

同源策略及跨域请求的方法和原理（比较JSONP和document.domain的不同及优劣，以及HTML5的跨域方案）JavaScript数据类型JavaScript字符串转化JSONP原理及优缺点XMLHttpRequest事件委托前端模块化（AMD和CommonJS的原理及异同&#xff…...

编程日记 2025/1/17 14:14:01

网站因备案关闭/什么是交换链接

1.新建Android studio工程2.新建class：AppKey.java.主要为了保存密钥代码块package com...adminapp.lib.utils.jni;/*** Created by seven on 16/9/8.*/public class AppKey {static {System.loadLibrary("AppKey");}public static native String WechatI…...

编程日记 2025/1/17 12:58:41