当前位置： 首页 > news >正文

大数据学习1.5-单机Hadoop

news 文章来源：https://blog.csdn.net/qq_40992158/article/details/132991285 2025/1/16 5:16:56

1.修改主机信息

vi /etc/hosts

2.修改信息如下(这里第三位一定是自己的IP 每个人都不一样)

192.168.216.140 hadoop01
192.168.216.141 hadoop02
192.168.216.142 hadoop03

3.修改Hadoop配置信息-1进入配置信息文件

cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/

4.修改Hadoop配置信息-2vi hadoop-env.sh 

vi hadoop-env.sh

追加如下信息

JAVA_HOME=/usr/local/java/jdk1.8.0_221

5.修改Hadoop配置信息-3vi hdfs-site.xml

vi hdfs-site.xml

追加如下信息(这里是单机 以后还需要改 先一步一步来 )

<property><name>dfs.replication</name><value>2</value>
</property>
<property> 
<name>dfs.namenode.secondary.http-address</name> 
<value>hadoop01:50090</value> 
</property>

6.修改Hadoop配置信息-4vi core-site.xml

vi core-site.xml

追加如下信息

<property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>  
<value>/usr/local/hadoop/hadoop-2.7.1/tmp</value>
</property>

7.修改Hadoop配置信息-5vi mapred-site.xml

首先进行一个复制

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

添加下面内容

<property><name>MapReduce.framework.name</name><value>yarn</value>
</property>

8.修改Hadoop配置信息-3vi yarn-site.xml

vi yarn-site.xml

9.生成公钥和私钥

ssh-keygen -t rsa

然后三下回车

10.发送密钥

ssh-copy-id hadoop01

11.格式化namenode(第一次启动格式化 以后不需要)

 hdfs namenode -format

12.切换到hadoop文件夹

cd /usr/local/hadoop/hadoop-2.7.1/

.

13.启动hadoop

sbin/start-all.sh

14.查看网站

hadoop01:50090


15.Hadoop实战-2创建input目录

hadoop fs -mkdir /input

 16.Hadoop实战-1创建work.txt并编辑

vi word.txt
Hello Dear Firend
Good Good Study
Day Day up

17.Hadoop实战-3将word,txt放入input中

 hadoop fs -put word.txt /input/word.txt

18.Hadoop实战-4进行单词统计

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/word.txt /output

相关文章：

大数据学习1.5-单机Hadoop

1.修改主机信息 vi /etc/hosts 2.修改信息如下(这里第三位一定是自己的IP 每个人都不一样) 192.168.216.140 hadoop01 192.168.216.141 hadoop02 192.168.216.142 hadoop033.修改Hadoop配置信息-1进入配置信息文件 cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/ 4.修改Had…...

编程日记 2023/9/19 0:19:14

Cesium对实体元素鼠标点击popup div信息框

一、简介 设置div信息框模板，给实体元素绑定事件，同步空间位置，然后在回调函数弹出信息框。 二、示例源码 <!DOCTYPE html> <html lang="en"><head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" …...

编程日记 2023/9/19 0:18:13

有多条业务线，mysql建多库多表比较好还是一个库多个表比较好呢？

这个问题的答案取决于您的具体需求。以下是一些需要考虑的因素&#xff1a; 数据独立性&#xff1a;如果您的业务线之间的数据是独立的&#xff0c;并且不太可能需要进行跨业务线的查询&#xff0c;那么将它们分成多个数据库可能是有意义的。这样可以使每个业务线的数据更加独…...

编程日记 2023/9/19 0:15:11

C++---异常处理

异常处理 异常处理try语句块和throw表达式异常的抛出和捕获异常的抛出和匹配原则 异常安全异常规范标准异常 异常处理 异常是指存在于运行时的反常行为&#xff0c;这些行为超出了函数正常功能的范围。当程序的某部分检测到一个他无法处理的问题时&#xff0c;需要用到异常处理…...

编程日记 2023/9/19 0:12:08

接口自动化测试（Python+Requests+Unittest）

(1)接口自动化测试的意义、前后端分离思想 接口自动化测试的优缺点&#xff1a; 优点&#xff1a; 测试复用性。 维护成本相对UI自动化低一些。 为什么UI自动化维护成本更高&#xff1f; 因为前端页面变化太快&#xff0c;而且UI自动化比较耗时&#xff08;比如等待页面元素的…...

编程日记 2023/9/19 0:10:05

驱动开发，IO多路复用（select,poll,epoll三种实现方式的比较）

1.IO多路复用介绍 在使用单进程或单线程情况下&#xff0c;同时处理多个输入输出请求&#xff0c;需要用到IO多路复用&#xff1b;IO多路复用有select/poll/epoll三种实现方式&#xff1b;由于不需要创建新的进程和线程&#xff0c;减少了系统资源的开销&#xff0c;减少了上下…...

编程日记 2023/9/19 0:08:04

大数据-玩转数据-oracel字符串分割转化为多列

一、建表 create table split_string_test(id integer primary key,test_string varchar2(500) );二、插入测试数据 insert into split_string_test values(1, 10,11,12,13,14,22); insert into split_string_test values(2, 22,23,24); insert into split_string_test valu…...

编程日记 2023/9/19 0:07:02

GCP设置Proxy来连接Cloud SQL

在之前的文章用Google CDC来同步Cloud SQL的数据到Bigquery_gzroy的博客-CSDN博客中&#xff0c;我通过在一个VM上设置反向代理的方式&#xff0c;使得Datastream可以通过私用连接连到Cloud SQL数据库进行数据复制。但是这种方式不太方便&#xff0c;主要是VM的状态我们不太方便…...

编程日记 2023/9/19 0:06:01

Python：为何成为当下最热门的编程语言？

文章目录 &#x1f34b;引言&#x1f34b;1. 简单易学&#x1f34b;2. 多领域应用&#x1f34b;3. 强大的社区支持&#x1f34b;4. 丰富的库和框架&#x1f34b;5. 跨平台兼容&#x1f34b;6. 开源和免费&#x1f34b;7. 数据科学和人工智能的崛起&#x1f34b;8. 自动化和脚本…...

编程日记 2023/9/19 0:05:00

【echarts入门】:vue项目中应用echarts

一.安装echarts 在项目集成终端下载echarts npm install echarts --save 二.全局引入 创建/components/echarts/index.js // 引入 echarts 核心模块&#xff0c;核心模块提供了 echarts 使用必须要的接口。 import * as echarts from "echarts/core";/** 引入任…...

编程日记 2023/9/19 0:03:57

Seata 源码篇之AT模式启动流程 - 上 - 02

Seata 源码篇之AT模式启动流程 - 02 自动配置两个关键点 初始化初始化TM初始化RM初始化TC 全局事务执行流程TM 发起全局事务GlobalTransactional 注解处理全局事务的开启 TM 和 RM 执行分支事务IntroductionDelegatingIntroductionInterceptorDelegatePerTargetObjectIntroduct…...

编程日记 2023/9/19 0:02:56

FFMPEG视频压缩与Python使用方法

一、简介 FFMPEG 是一个完整的&#xff0c;跨平台的解决方案&#xff0c;记录&#xff0c;转换和流音频和视频。 官网&#xff1a;https://ffmpeg.org/ 二、安装 1、Linux&#xff1a; sudo apt install ffmpeg 2、Mac: brew install ffmpeg 3、Windows: 下载文件&#…...

编程日记 2023/9/19 0:01:55

SpringMVC自定义注解---[详细介绍]

一&#xff0c;对于SpringMVC自定义注解概念 是一种特殊的 Java 注解&#xff0c;它允许开发者在代码中添加自定义的元数据&#xff0c;并且可以在运行时使用反射机制来获取和处理这些信息。在 Spring MVC 中&#xff0c;自定义注解通常用于定义控制器、请求处理方法、参数或者…...

编程日记 2023/9/19 0:00:54

5.4 转换数据

5.4 转换数据 5.4.1 哑变量处理类别型数据5.4.2 离散化连续型数据1、等宽法2、等频法3、聚类分析法 数据集 E:/Input/ptest.csv 5.4.1 哑变量处理类别型数据 数据分析模型中有相当一部分的算法模型都要求输入的特征为数值型&#xff0c;但实际数据中特征的类型不一定只有数值…...

编程日记 2023/9/18 23:58:53

雷池社区WAF：保护您的网站免受黑客攻击 | 开源日报 0918

keras-team/keras Stars: 59.2k License: Apache-2.0 Keras 是一个用 Python 编写的深度学习 API&#xff0c;运行在机器学习平台 TensorFlow 之上。它 简单易用&#xff1a;减少了开发者认知负荷&#xff0c;使其能够更关注问题中真正重要的部分。灵活性强&#xff1a;通过逐…...

编程日记 2023/9/18 23:56:51

链表反转-LeetCode206

**题目&#xff1a;**给你单链表的头结点head&#xff0c;请反转链表&#xff0c;并返回反转后的链表。 示例&#xff1a; 输入&#xff1a;head [1&#xff0c;2&#xff0c;3&#xff0c;4&#xff0c;5] 输出&#xff1a;[5&#xff0c;4&#xff0c;3&#xff0c;2&#x…...

编程日记 2023/9/18 23:55:50

北邮22级信通院数电：Verilog-FPGA（3）实验“跑通第一个例程”modelsim仿真及遇到的问题汇总（持续更新中）

北邮22信通一枚~ 跟随课程进度更新北邮信通院数字系统设计的笔记、代码和文章 持续关注作者 迎接数电实验学习~ 获取更多文章&#xff0c;请访问专栏&#xff1a; 北邮22级信通院数电实验_青山如墨雨如画的博客-CSDN博客 注意&#xff1a;本篇文章所有绝对路径的展示都来自…...

编程日记 2023/9/18 23:53:48

4G工业路由器,开启智能工厂,这就是关键所在

​提到工业物联网,首先联想到的就是数据传输。要把海量的工业数据从设备端传到控制中心,无线数传终端就发挥着重要作用。今天就跟着小编来看看它的“联”是怎么建立的吧! 原文&#xff1a;https://www.key-iot.com/iotlist/1838.html 一提到无线数传终端,相信大家首先想到的是…...

编程日记 2023/9/18 23:52:48

计组-机器字长、存储字长、指令字长以及和他们有关的机器位数

&#x1f333;&#x1f333;&#x1f333;前言&#xff1a;本文总结了机器字长、存储字长、指令字长的概念以及和它们相关的机器位数。 目录 字长 机器字长 指令字长 存储字长 寄存器的位数 总结 字长 &#x1f31f;字长一个字中的二进制位数。 &#x1f31f;字长由微处…...

编程日记 2023/9/18 23:50:46

解决express服务器接收post请求报错：“req.body==＞ undefined“

现象如下&#xff1a; 解决办法&#xff1a;在代码中加入body-parser解析 const bodyParser require("body-parser"); app.use(bodyParser.urlencoded({ extended: true })); app.use(bodyParser.json()); 参考&#xff1a; How to fix "req.body undefined&q…...

编程日记 2023/9/18 23:48:44

5.zigbee的开发，串口putchar重定向（使用print），单播实验，usb抓包实验

一。实验&#xff1a;单播 实验要求&#xff1a; 实现终端定时向协调器发送给“好好学习”字符串&#xff0c;并且从终端打印出来。 要求&#xff1a; 指定端点为 0x0005 指定簇为 0x0003 1.进入应用层SampleApp.c中&#xff0c;串口的重定向 报错&#xff…...

编程日记 2023/9/18 23:47:43

解决AU报“MME无法使用“问题

今天在Adobe Audition(简称AU)软件&#xff0c;打开麦克风时&#xff0c;弹出如下错误:“加载默认的输入和输出设备失败:MME设备内部错误”&#xff0c;如图(1)所示&#xff1a; 图(1) AU报“MME设备内部错误” 继续点击AU菜单栏上的【编辑】–》首选项–》音频硬件&#xff0c…...

编程日记 2023/9/18 23:46:43

Maven 安装配置

Maven 安装配置 文章目录 Maven 安装配置一、下载 Maven二、解压Maven核心程序三、指定本地仓库四、配置阿里云镜像仓库4.1 将原有的例子配置注释掉4.2 加入新的配置 五、配置 Maven 工程的基础 JDK 版本六、配置环境变量6.1 检查 JAVAHOME 配置是否正确6.2 配置 MAVENHOME6.3 …...

编程日记 2023/9/18 23:45:42

vscode 配置网址

首先我的项目是一个面向医院的系统 我是在三个文件里都配置了网址 第一个文件&#xff1a;vue.config.js const path require(path) const webpack require(webpack) const createThemeColorReplacerPlugin require(./config/plugin.config)function resolve (dir) {retu…...

编程日记 2023/9/18 23:43:40

git 本地工作区和仓库区基本使用

(1)git 本地有三个区 工作区和暂存区和 git管理的仓库. &#xff08;自行动手实践理解,然后就入门了&#xff09;(2)本地初次使用git做的事情,需要做如下工作 git config --global user.name "xx" git config --global user.email xxxqq.com git config --globa…...

编程日记 2023/9/18 23:42:38

有效的括号（栈的高频面试题）

一、题目描述 题目连接&#xff1a;有效的括号 给定一个只包括 (&#xff0c;)&#xff0c;{&#xff0c;}&#xff0c;[&#xff0c;] 的字符串 s &#xff0c;判断字符串是否有效。 有效字符串需满足&#xff1a; 左括号必须用相同类型的右括号闭合。左括号必须以正确的顺…...

编程日记 2023/9/18 23:41:37

GIS跟踪监管系统电子围栏

GIS跟踪监管系统电子围栏 &#xff08;1&#xff09;电子围栏展示。① 显示&#xff1a;② 隐藏&#xff1a;&#xff08;2&#xff09;电子围栏修改。① 新增电子围栏。② 修改电子围栏。工具箱&#xff08;1&#xff09;测量。① 测量距离&#xff1a;② 测量面积&#xff1a…...

编程日记 2023/9/18 23:39:36

蓝桥杯2023年第十四届省赛真题-买瓜--Java题解

目录 蓝桥杯2023年第十四届省赛真题-买瓜 题目描述 输入格式 输出格式 样例输入 样例输出 提示 【思路解析】 【代码实现】 蓝桥杯2023年第十四届省赛真题-买瓜 时间限制: 3s 内存限制: 320MB 提交: 796 解决: 69 题目描述 小蓝正在一个瓜摊上买瓜。瓜摊上共有 n 个…...

编程日记 2023/9/18 23:37:34

Chatbot到底提供了哪些便利？来看看“中文版Chatbase”

Chatbot的出现可以说是在极大的程度上改变了企业与客户互动的方式。Chatbot凭借其先进的功能和全天候可用性提供了一系列便捷的功能&#xff0c;为企业和客户提供便利和高效。随着自然语言处理和机器学习算法的进步&#xff0c;Chatbot已经发展到可以提供准确和个性化的响应&am…...

编程日记 2023/9/18 23:36:33

2023-09-18 LeetCode每日一题（打家劫舍 III）

2023-09-18每日一题 一、题目编号 337. 打家劫舍 III二、题目链接 点击跳转到题目位置 三、题目描述 小偷又发现了一个新的可行窃的地区。这个地区只有一个入口&#xff0c;我们称之为 root 。 除了 root 之外&#xff0c;每栋房子有且只有一个“父“房子与之相连。一番侦…...

编程日记 2023/9/18 23:35:32

腾讯建站平台官网/百度竞价培训

如何打开文件Stud.txt&#xff0c;然后用"Orange"替换任何出现的"A"&#xff1f; 请(一如既往)遵循一般问题指南&#xff0c;说明任何特殊限制&#xff0c;显示您迄今为止尝试过的内容&#xff0c;并询问具体让您感到困惑的内容。 另外&#xff0c;请用[ho…...

编程日记 2025/1/16 3:10:30

永年做网站多少钱/百度搜索引擎

题目 长度为n(n<1e5)的仅由abc三种字母组成的串&#xff0c; q(q<1e5)次操作&#xff0c;每次给出两个参数pos x&#xff08;x属于a、b、c三种字母中的一种&#xff09;&#xff0c; 表示把pos位置的字母改成x&#xff0c; 每次改完之后&#xff0c;都需要输出把整个…...

编程日记 2025/1/16 1:53:35

做的最好的视频网站/你对网络营销的理解

wasbakup.sh:备份数据库和应用并上传到FTP#!1、备份MySQL数据库存放目录/var/lib/mysql下面的vos3000db数据库到/home/mysql_data里面&#xff0c;并且保存为vos3000db_bak_2013_05_09.tar.gz英文源文档 翻译: 白水代码下载: CSASPNETImageEditUpload.zip此示例演示了在ASP.NET…...

编程日记 2025/1/15 23:35:20

石家庄便宜做网站/站长交流平台

漏洞扫描小工具写完后&#xff0c;我打算给其增加一个启动界面&#xff0c;此处借鉴于 https://blog.csdn.net/yy873259480/article/details/7411383 界面组成为图片进度条&#xff0c;代码如下&#xff1a; package vul_scan; import java.awt.Color; import java.awt.Toolki…...

编程日记 2025/1/15 17:28:13

网站怎么做全屏滚动/网络优化工程师吃香吗

一、标准制修订 2020年&#xff0c;完成标准制修订数量418项&#xff0c;较上年增加47项。其中&#xff0c;国家标准31项&#xff0c;较上年减少7项&#xff1b;行业标准103项&#xff0c;较上年增加6项&#xff1b;地方标准204项&#xff0c;较上年增加39项&#xff1b;团体标…...

编程日记 2025/1/15 16:58:36

java做网站需要的技术/百度网首页登录入口

昨天花了一个下午才升级成功&#xff0c;今天费了点儿周折才打上补丁&#xff0c;不想同道中人再浪费不必要的时间&#xff0c;把以把我的步骤给大家说一下&#xff0c;供参考。 使用工具:x65Flasher与VK 升级文件及工具下载:http://yizhe.net/c65/ 步骤&#xff1a; 1.关机&am…...

编程日记 2025/1/15 14:43:54