当前位置：首页 > news >正文

大数据-hadoop

news 文章来源：https://blog.csdn.net/highly2009/article/details/133151402 2024/11/6 12:33:24

1.hadoop介绍

1.1 起源

1.2 版本

1.3生产环境版本选择

Hadoop三大发行版本:Apache、Cloudera、Hortonworks

Apache版本最原始的版本

Cloudera在大型互联网企业中用的较多

Hortonworks文档较好

1.4架构

hadoop由三个模块组成

分布式存储HDFS

分布式计算MapReduce

资源调度引擎Yarn

分布式文件存储系统HDFS

NameNode主节点主要负责管理集群，保存元数据信息

SecondaryNameNode辅助NameNode做元数据信息备份

DataNode从节点存储数据

资源管理调度系统yarn

ResourceManage主节点主要负责资源调度分配

NodeManager从节点

2.hadoop安装

2.1.关闭防火墙、selinux

### 1.关闭防火墙systemctl stop firewalld
systemctl enable firewalld###  2.关闭selinuxvi /etc/sysconfig/selinux
SELINUX=disabled

2.2配置hostname

2.3.机器时钟同步

1.通过网络进行时钟同步
安装ntpdate

yum -y install ntpdate

阿里云时钟同步服务器

ntpdate ntp4.aliyun.com

定时同步
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

大数据-hadoop

1.hadoop介绍 1.1 起源 1.2 版本 1.3生产环境版本选择 Hadoop三大发行版本:Apache、Cloudera、Hortonworks Apache版本最原始的版本 Cloudera在大型互联网企业中用的较多 Hortonworks文档较好 1.4架构 hadoop由三个模块组成分布式存储HDFS 分布式计算MapReduce 资源调度引擎Y…...

编程日记 2023/9/29 0:10:14

容器启动报错

容器启动报错 docker: Error response from daemon: driver failed programming external connectivity on endpoint XXX 如下： 据百度： 在docker启动后在，再对防火墙firewalld进行操作，就会发生上述报错详细原因&#xff1a…...

编程日记 2023/9/29 0:08:12

求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux

求生之路2服务器搭建插件安装及详细的游戏参数配置教程linux 大家好我是艾西，在上一篇文章中我用windows系统给搭建演示了一遍怎么搭建自己的L4D2游戏。那么也有不少小伙伴想知道linux系统的搭建方式以及在这个过程中有什么区别。那么艾西今天就跟大家分享下用lin…...

编程日记 2023/9/29 0:06:10

IntelliJ IDEA 左侧Commit栏不见了

1.点击File->Settings->Version Control->Commit 2.勾选Use non-modal commit interface...

编程日记 2023/9/29 0:05:10

使用自功率谱、互功率谱估计滤波器幅频特性

这段时间终于对工程中的随机信号的一般处理方式有点头绪了，功率谱密度估计是十分重要的方式之一，仍需继续深入细化相关内容。示例：使用自功率谱、互功率谱估计滤波器幅频特性，自己实现 & Matlab自带函数实现。 clc;clear;cl…...

编程日记 2023/9/29 0:03:07

51单片机光照强度检测自动路灯开关仿真( proteus仿真+程序+报告+讲解视频）

51单片机光照强度检测自动路灯开关仿真( proteus仿真程序报告讲解视频） 仿真图proteus7.8及以上程序编译器：keil 4/keil 5 编程语言：C语言设计编号：S0052 讲解视频基于51单片机的光照检测自动路灯控制仿真设计( proteus仿…...

编程日记 2023/9/29 0:01:05

socat管理haproxy配置

文章目录前言一、配置二、简单使用1. 先安装 socat2. 获取 haproxy 的监控数据总结前言我们可以通过 socat 命令实现对 haproxy 的管理，包括获取监控数据，对后端服务器实现启动停止，服务流量控制等等。一、配置要想 haproxy 支持通过…...

编程日记 2023/9/29 0:00:05

Linux发行版X华为鲲鹏openEuler

前言作为硬件和软件之间的桥梁，我接触的最多的就是Windows和Centos，还记得最初的鸟哥的Linux私房菜，而Centos即将停止维护更新（Centos7维护到2024），对于个人学习来说没有任何影响，但是对于企业…...

编程日记 2023/9/28 23:57:01

计算机网络相关知识点

谈一谈对OSI七层模型和TCP/IP四层模型的理解？ 这两种模型都是网络通信中重要的参考模型,他们的设计和功能有一些区别。首先OSI，OSI七层模型，也被称为开放系统互联参考模型，是一种在国际标准化组织（ISO）中…...

编程日记 2023/9/28 23:56:00

Jmeter+Ant+Git+Jenkins持续集成介绍

【软件测试面试突击班】如何逼自己一周刷完软件测试八股文教程，刷完面试就稳了，你也可以当高薪软件测试工程师（自动化测试） 一简介 1.什么是ant? ant是构建工具 2.什么是构建概念到处可查到，形象来说&#xff…...

编程日记 2023/9/28 23:52:58

Spring Cloud Gateway实战WebFlux解析请求体及抛出指定错误代码和信息

概述基于Spring Cloud开发微服务时，使用Spring Cloud原生自带的Gateway作为网关，所有请求都需要经过网关服务转发。为了防止恶意请求刷取数据，对于业务请求需要进行拦截，故而可在网关服务增加拦截过滤器。基于此，有…...

编程日记 2023/9/28 23:46:53

Servlet开发-通过代码案例熟悉HttpServletRequest类

关于Servlet开发的流程推荐看servlet开发-通过Tomcat部署一个简单的webapp Servlet开发与idea集成的插件安装推荐看idea集成tomcat（Smart Tomcate插件安装） postman（第三方创建HTTP请求工具）的安装推荐看创建HTTP请求的几种方式…...

编程日记 2023/9/28 23:40:46

离线环境harbor 搭建及使用

一摘要本文主要介绍harbor 的安装及使用。二环境信息及部署图 2.1 环境信息名称版本备注操作系统centos7.9容器docker 23.0.1harbor2.7代理nginx待补充 2.2 架构图说明： 1.harbor 核心服务里有个nginx ，也可以用该nginx 做代理 2.proxy-ngin…...

编程日记 2023/9/28 23:39:45

华为杯数学建模比赛经验分享

再过一周左右,第二十届华为杯数学建模比赛就要开赛了，所以今天分享一下个人数学建模比赛的经验。今天给大家分享一期关于华为杯数学建模比赛的经验分享，我将从以下三个方面展开说明： （1）如何准备数学建模比赛&#x…...

编程日记 2023/9/28 23:34:41

c语言 - 实现每隔1秒向文件中写入当前系统时间

实现思路主要是通过库函数和结构体获取当前系统时间（年月日和时分秒）保存到变量里，然后通过格式化输出函数将当前系统时间输出到文件中去。但是需要注意的是题目要求每隔 1 s对系统时间进行输出，所以需要加入 sleep()函数进行调…...

编程日记 2023/9/28 23:32:39

使用cpolar端口映射的方法轻松实现在Linux环境下SVN服务器的搭建与公网访问

文章目录前言1. Ubuntu安装SVN服务2. 修改配置文件2.1 修改svnserve.conf文件2.2 修改passwd文件2.3 修改authz文件 3. 启动svn服务4. 内网穿透4.1 安装cpolar内网穿透4.2 创建隧道映射本地端口 5. 测试公网访问6. 配置固定公网TCP端口地址6.1 保留一个固定的公网TCP端口地址6…...

编程日记 2023/9/28 23:31:38

前后台分离开发 YAPI平台前端工程化之Vue-cli

目录 YAPI介绍前端工程化之Vue-cli前端工程化简介前端工程化入门——Vue-cli环境准备Vue项目简介创建Vue项目vue项目目录结构介绍vue项目运行方法 Vue项目开发流程前后台混合开发这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题&#xff0…...

编程日记 2023/9/28 23:30:37

目录随机生成字符串每十个字符换行随机生成字符串 function generateRandomAlphaNum(len) {var rdmString "";for (; rdmString.length < len; rdmString Math.random().toString(36).substr(2));return rdmString.substr(0, len); }每十个字符换行 string.…...

编程日记 2023/9/28 23:29:36

Nginx modules build fail:field ‘pkt6’ has incomplete type

前言最近升级Nginx 1.24.0，编译第三方module出错： /usr/src/nginx_modules/ngx_json_post_module/src/ngx_json_post_module.c In file included from src/event/ngx_event.h:526,from src/http/ngx_http_upstream.h:14,from src/http/ngx_http.h:34,…...

编程日记 2023/9/28 23:28:34

电脑突然提示mfc140u.dll丢失，缺失mfc140u.dll无法运行程序的解决方法

在当今信息化社会，电脑已经成为我们生活和工作中不可或缺的一部分。然而，随着技术的不断发展，电脑也会出现各种问题。其中，最常见的问题之一就是“mfc140u.dll丢失”。那么，当我们遇到这个问题时，应该如何解…...

编程日记 2023/9/28 23:26:32

国庆day1

消息队列代码发送 #include<myhead.h> //声明一个消息结构体 typedef struct {long msgtype; //消息类型char data[1024]; //消息正文 }Msg_s; #define SIZE sizeof(Msg_s)-sizeof(long) //消息正文的大小 int main(int argc, const char *argv[]) {key_t key; /…...

编程日记 2023/9/28 23:25:31

从零开始之了解电机及其控制（11）实现空间矢量调制

广泛地说，空间矢量调制只是将电压矢量以及磁场矢量在空间中调制到任意角度，通常同时最大限度地利用整个电压范围。其他空间矢量调制模式确实存在，并且根据您最关心的内容，它们可能值得研究。如何实际执行这种所谓的交替反向序列…...

编程日记 2023/9/28 23:23:28

如何将html转换成markdown

什么是Turndown “Turndown” 是一个用于将 HTML 转换为 Markdown 的 JavaScript 库。它通常用于将富文本内容从网页或其他 HTML 格式转换为纯文本 Markdown 格式，以便在不同平台上显示或存储。如果在有node环境的情况下要使用 Turndown，首先需要将它…...

编程日记 2023/9/28 23:19:24

【VUE复习·3】@keyup.xxx 键盘事件触发函数（单按键 or 组合按键触发）

总览 1.keyup.xxx or keydown.xxx 单按键触发 2.组合按键触发一、keyup.xxx or keydown.xxx 1.用法在我们使用 keyup.enter 时，那么我们可以这样写： <div><input type"text" placeholder"按下回车键以确定..." keyu…...

编程日记 2023/9/28 23:18:23

IntelliJ IDEA学习总结（3）—— IntelliJ IDEA 常用快捷键（带动图演示）

一、构建/编译 Ctrl + F9：构建项目该快捷键，等同于菜单【Build】—>【Build Project】执行该命令后，IntelliJ IDEA 会编译项目中所有类，并将编译结果输出到out目录中。IntelliJ IDEA 支持增量构建，会在上次构建的基础上，仅编译修改的类。 Ctrl + Shift + F9：重新编…...

编程日记 2023/9/28 23:17:22

巨人互动|Facebook海外户Facebook的特点优势

Facebook作为全球最大的社交媒体平台之一，同时也是最受欢迎的社交网站之一，Facebook具有许多独特的特点和优势。本文小编将说一些关于Facebook的特点及优势。 1、全球化 Facebook拥有数十亿的全球用户，覆盖了几乎所有国家和地区。这使得人们…...

编程日记 2023/9/28 23:16:20

（vue3）create-vue 组合式API

优势： 更易维护：组合式api，更好的TS支持之前是选项式api，现在是组合式，把同功能的api集合式管理复用功能封装成一整个函数更快的速度更小的体积更优的数据响应式：Proxy create-vue 新的脚手架工…...

编程日记 2023/9/28 23:14:18

【如何看待Unity收费】对标中小公司的待就业者的该如何做

👨‍💻个人主页：元宇宙-秩沅 👨‍💻 hallo 欢迎点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由秩沅原创 👨‍💻 收录于专栏：Uni…...

编程日记 2023/9/28 23:13:17

c++迷宫小游戏

一、总结一句话总结： 显示：根据map数组输出图像走动：修改map数组的值，每走一步重新刷新一下图像就好 1、如果走函数用z()，出现输入s会向下走多步的情况，原因是什么？ 向下走两层循环ij增加&a…...

编程日记 2023/9/28 23:12:16

需求堆积，如何排序产品优先极

面对堆积的产品需求，到底该如何排序优先极呢？ 需求排期的目标在谈具体的排期方法之前，有必要先探讨一下——合理的需求排期应该达到什么的目标呢？如果站在与项目相关的利益人员的角度来看，至少应该使以下四方面的收…...

编程日记 2023/9/28 23:11:15

js模版网站/重庆今天刚刚发生的重大新闻

🍯前端~CSS 简介：为页面中的元素添加样式目录 1、基础选择器 2、组合选择器 3、属性选择器 4、伪类选择器 5、背景样式(各种样式） 使用方式：》》》行内样式：样式定义在行内部标签上内部样式：css样式定…...

编程日记 2024/11/6 6:54:33

建设小游戏网站空间类型选择/关键词搜索排名公司

写在最前文章标题谈到了面向协议编程(下文简称 POP)，是因为前几天阅读了一篇讲 Swift 中 POP 的文章。本文会以此为出发点，聊聊相关的概念，比如接口、mixin、组合模式、多继承等，同时也会借助各种语言中的例子来阐述我的思想。那…...

编程日记 2024/11/6 6:35:50

免费看各大网站的软件/网络营销专业的就业方向

经过Python测试交流群的小伙伴群策群力，teprunner添加了一个重要功能，把PyCharm中的代码，通过Git同步到测试平台中，生成测试用例。这样，teprunner就成了一个名副其实的pytest脚本在线管理平台。效果展示项目添加Git仓…...

编程日记 2024/11/6 6:34:39

有没有专门做av字幕的网站/北京网络营销咨询公司

本系列意在记录Windwos线程的相关知识点，包括线程基础、线程调度、线程同步、TLS、线程池等本篇介绍与内核对象同步相关的Event对象和Mutex对象 AutoResetEvent和ManualResetEvent 同步事件有两种：AutoResetEvent和 ManualResetEvent。主要用户线程之间…...

编程日记 2024/11/6 5:34:48

免费咨询律师24小时/佛山seo技术

php向数组中增加数据的方法是什么2020-06-30 04:48:23php向数组中增加数据的方法是什么?使用函数array_pusharray_push() 函数向第一个参数的数组尾部添加一个或多个元素(入栈)，然后返回新数组的长度。该函数等于多次调用 $array[] $value。语法; array_push(arr…...

编程日记 2024/11/6 4:57:15

自己做网站都要什么软件/优化模型数学建模

本文转自：http://www.cnblogs.com/shuang121/archive/2012/07/09/2582654.html 1.将Image图像文件存入到数据库中我们知道数据库里的Image类型的数据是"二进制数据",因此必须将图像文件转换成字节数组才能存入数据库中.复制代码//将本地图片转换成二进制保…...

编程日记 2024/11/6 3:40:43