当前位置： 首页 > news >正文

Spark Standalone环境搭建及测试

news 文章来源：https://blog.csdn.net/beixige/article/details/132479481 2025/1/30 15:07:17

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇

篇一：Linux系统下配置java环境
篇二：hadoop伪分布式搭建（超详细）
篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建
篇四：Spark Local环境搭建及测试

文章目录

    • 1.Spark Standalone环境搭建介绍
    • 2.搭建环境准备：
    • 3.搭建步骤:

1.Spark Standalone环境搭建介绍

在这里插入图片描述

Apache Spark是目前最流行的大数据处理框架之一，可用于分布式数据处理和分析。在Standalone模式下搭建Spark集群是学习和开发Spark应用程序的良好起点。

2.搭建环境准备：

本次用到的环境有：
Java 1.8.0_191
Spark-2.2.0-bin-hadoop2.7
Hadoop 2.7.4
Oracle Linux 7.4

3.搭建步骤:

1.解压Spark压缩文件至/opt目录下

tar -zxvf  ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz  -C  /opt

在这里插入图片描述

2.修改解压后为文件名为spark

mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark

在这里插入图片描述

3.复制spark配置文件，首先在主节点(Master)上，进入Spark安装目录下的配置文件目录{ $SPARK_HOME/conf }，并复制spark-env.sh配置文件：

cd /opt/spark/conf
cp spark-env.sh.template spark-env.sh

在这里插入图片描述

4.Vim编辑器打开spark配置文件

vim spark-env.sh

在这里插入图片描述

5.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码，注意：“=”附近无空格：

export JAVA_HOME=/usr/lib/java-1.8
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

在这里插入图片描述

按键Esc，输入:wq保存退出
6.复制一份spark的slaves配置文件

cp slaves.template slaves

在这里插入图片描述

7.修改spark的slaves配置文件

vim slaves

在这里插入图片描述

8.每一行添加工作节点(Worker)名称，按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码

slave1
slave2

在这里插入图片描述

按键Esc，输入:wq保存退出
9.复制一份spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

在这里插入图片描述

10.通过远程scp指令将Master主节点的Spark安装包分发至各个从节点，即slave1和slave2节点

scp -r /opt/spark/ root@slave1:/opt/
scp -r /opt/spark/ root@slave2:/opt/

在这里插入图片描述
在这里插入图片描述

11.配置环境变量：分别在slave1和slave2节点上配置环境变量，修改【/etc/profile】，在文件尾部追加以下内容

vim /etc/profile

按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码

#spark install
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

主节点（master）上执行截图，如下：
在这里插入图片描述
在这里插入图片描述

从节点1（Slave1）上执行截图，如下：
在这里插入图片描述
在这里插入图片描述

从节点2（Slave2）上执行截图，如下：
在这里插入图片描述
在这里插入图片描述

12.按键Esc，按键:wq保存退出
13.分别在Slave1和Slave2上，刷新配置文件
在这里插入图片描述
在这里插入图片描述

source /etc/profile

14.开启standalone集群守护进程，分别开启Standalone集群的守护进程：Master和Worker。注意：需要在主节点执行该操作！

start-master.sh     
start-slaves.sh

在这里插入图片描述

15.Spark独立集群搭建成功后，查看后台守护线程，如图所示，即Standalone模式搭建成功！！

jps

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

16.查看WebUI监控，独立集群管理器开启后，可以通过WebUI监控界面查看集群管理器的相关信息，地址为：http://master:8080 如图所示
在这里插入图片描述

17.开启spark-shell会话，向独立集群管理器提交应用，需要把spark://masternode:7070作为主节点参数传–master。指令如下

spark-shell --master spark://master:7077

在这里插入图片描述

所有配置完成，如果本篇文章对你有帮助，记得点赞关注+收藏哦~

相关文章：

Spark Standalone环境搭建及测试

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 篇一：Linux系统下配置java环境 篇二：hadoop伪分布式搭建（超详细） 篇三：hadoop完全分布式集群搭建（超详细&#xf…...

编程日记 2023/8/25 4:29:12

【PHP】流程控制-ifswitchforwhiledo-whilecontinuebreak

文章目录 流程控制顺序结构分支结构if分支switch分支 循环结构for循环while循环do-while循环continue和break 流程控制 顺序结构：代码从上往下，顺序执行。（代码执行的最基本结构） 分支结构：给定一个条件，…...

编程日记 2023/8/25 4:28:11

Pytorch-day04-模型构建-checkpoint

PyTorch 模型构建 1、GPU配置2、数据预处理3、划分训练集、验证集、测试集4、选择模型5、设定损失函数&优化方法6、模型效果评估 #导入常用包 import os import numpy as np import torch from torch.utils.data import Dataset, DataLoader from torchvision.transfor…...

编程日记 2023/8/25 4:27:09

使用Xshell7控制多台服务同时安装ZK最新版集群服务

一: 环境准备: 主机名称 主机IP 节点 (集群内通讯端口|选举leader|cline端提供服务)端口 docker0 192.168.1.100 node-0 2888 | 3888 | 2181 docker1 192.168.1.101 node-1 2888 | 388…...

编程日记 2023/8/25 4:26:08

python numpy array dtype和astype类型转换的区别

Python3 本身对整数的支持做了提升，可以支持无限长度的整数：比如： b 0xffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffPython的模块numpy array定义的数组在windows和MACOS上默认长度是…...

编程日记 2023/8/25 4:25:07

浮动属性样式

🍓浮动属性 属性名称中文注释备注float设置盒子浮动left左浮动，right右浮动，none不浮动clear清除浮动left清除左浮动，right清除右浮动，both左右浮动都清除（注意：clear清除浮动一般只有作用在块…...

编程日记 2023/8/25 4:24:06

keepalived双机热备 (四十五)

一、概述 Keepalived 是一个基于 VRRP 协议来实现的 LVS 服务高可用方案，可以解决静态路由出现的单点故障问题。 原理 在一个 LVS 服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器…...

编程日记 2023/8/25 4:23:05

SpringBoot整合阿里云OSS，实现图片上传

在项目中&#xff0c;将图片等文件资源上传到阿里云的OSS&#xff0c;减少服务器压力。 项目中导入阿里云的SDK <dependency><groupId>com.aliyun.oss</groupId><artifactId>aliyun-sdk-oss</artifactId><version>3.10.2</version>…...

编程日记 2023/8/25 4:22:03

Dynaminc Programming相关

目录 3.1 最长回文子串&#xff08;中等&#xff09;&#xff1a;标志位 3.2 最大子数组和&#xff08;中等&#xff09;&#xff1a;动态规划 3.3 爬楼梯&#xff08;简单&#xff09;&#xff1a;动态规划 3.4 买卖股票的最佳时机&#xff08;简单&#xff09;&#xff1…...

编程日记 2023/8/25 4:21:01

使用 Elasticsearch 轻松进行中文文本分类

本文记录下使用 Elasticsearch 进行文本分类&#xff0c;当我第一次偶然发现 Elasticsearch 时&#xff0c;就被它的易用性、速度和配置选项所吸引。每次使用 Elasticsearch&#xff0c;我都能找到一种更为简单的方法来解决我一贯通过传统的自然语言处理 (NLP) 工具和技术来解决…...

编程日记 2023/8/25 4:19:55

MNN学习笔记（八）：使用MNN推理Mediapipe模型

1.项目说明 最近需要用到一些mediapipe中的模型功能&#xff0c;于是尝试对mediapipe中的一些模型进行转换&#xff0c;并使用MNN进行推理&#xff1b;主要模型包括&#xff1a;图像分类、人脸检测及人脸关键点mesh、手掌检测及手势关键点、人体检测及人体关键点、图像嵌入特征…...

编程日记 2023/8/25 4:18:53

主力吸筹指标及其分析和使用说明

文章目录 主力吸筹指标指标代码分析使用说明使用配图主力吸筹指标 VAR1:=REF(LOW,1); VAR2:=SMA(MAX(LOW-VAR1,0),3,1)/SMA(ABS(LOW-VAR1),3,1)*100; VAR3:=EMA(VAR2,3); VAR4:=LLV(LOW,34); VAR5:=HHV(VAR3,34); VAR7:=EMA(IF(LOW<=VAR4,(VAR3+VAR5*2)/2,0),3); /*底线:0,…...

编程日记 2023/8/25 4:17:51

Python高光谱遥感数据处理与高光谱遥感机器学习方法教程

详情点击链接&#xff1a;Python高光谱遥感数据处理与高光谱遥感机器学习方法教程 第一&#xff1a;高光谱基础 一&#xff1a;高光谱遥感基本 01)高光谱遥感 02)光的波长 03)光谱分辨率 04)高光谱遥感的历史和发展 二&#xff1a;高光谱传感器与数据获取 01)高光谱遥感…...

编程日记 2023/8/25 4:16:49

【洛谷】P1678 烦恼的高考志愿

原题链接&#xff1a;https://www.luogu.com.cn/problem/P1678 目录 1. 题目描述 2. 思路分析 3. 代码实现 1. 题目描述 2. 思路分析 将每个学校的分数线用sort()升序排序&#xff0c;再二分查找每个学校的分数线&#xff0c;通过二分找到每个同学估分附近的分数线。 最后…...

编程日记 2023/8/25 4:15:47

开机自启CPU设置定频

sudo apt-get install expect sudo apt-get install cpufrequtils具体步骤如下&#xff1a; 安装 cpufrequtils 工具 ⚫ sudo apt-get install cpufrequtils ⚫ 需要联网下载修改配置文件 ⚫ sudo vi /etc/init.d/cpufrequtils ⚫ 将 GOVERNOR“ondemand” 改为&#xff1a; &g…...

编程日记 2023/8/25 4:14:46

嵌入式Linux开发实操（十二）：PWM接口开发

# 前言 使用pwm实现LED点灯，可以说是嵌入式系统的一个基本案例。那么嵌入式linux系统下又如何实现pwm点led灯呢？ # PWM在嵌入式linux下的操作指令 实际使用效果如下，可以通过shell指令将开发板对应的LED灯点亮。 点亮3个LED，则分别使用pwm1、pwm2和pwm3。 # PWM引脚的硬…...

编程日记 2023/8/25 4:13:45

消息中间件介绍

消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能&#xff0c;成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件&#xff0c;如ActiveMQ、RabbitMQ&#xff0c;Kafka&#xff0c;还有阿里巴巴…...

编程日记 2023/8/25 4:12:44

[Unity] 基础的编程思想, 组件式开发

熟悉 C# 开发的朋友, 在刚进入 Unity 开发时, 不可避免的会有一些迷惑, 例如不清楚 Unity 自己的思想, 如何设计与架构一个应用程序之类的. 本篇文章简要的介绍一下 Unity 的基础编程思想. 独立 Unity 很少使用 C# 的标准库, 例如 C# 的网络, 事件驱动, 对象模型, 这些概念在 …...

编程日记 2023/8/25 4:10:36

SVN 项目管理笔记

SVN 项目管理笔记 主要是介绍 SVN 管理项目的常用操作&#xff0c;方便以后查阅&#xff01;&#xff01;&#xff01; 一、本地项目提交到SVN流程 在SVN仓库下创建和项目名同样的文件夹目录&#xff1b;选中本地项目文件&#xff0c;选择SVN->checkout,第一个是远程仓库项…...

编程日记 2023/8/25 4:09:35

Android获取手机已安装应用列表JAVA实现

最终效果: 设计 实现java代码: //获取包列表private List<String> getPkgList() {List<String> packages new ArrayList<String>();try {//使用命令行方式获取包列表Process p Runtime.getRuntime().exec("pm list packages");//取得命令行输出…...

编程日记 2023/8/25 4:08:30

【校招VIP】有一个比赛获奖项目和参与的开源小项目，秋招项目竞争力够不够？三个标准，自己都可以估算

有个24届的学生问我&#xff1a;现在没有实习&#xff0c;能不能参与大厂秋招&#xff1f;手里有两个项目&#xff0c;一个是比赛的获奖项目&#xff0c;一个是CSDN上博主做的开源小项目&#xff0c;这两个项目竞争力够不够&#xff1f; 其实项目这块&#xff0c;无非就是三个…...

编程日记 2023/8/25 4:07:28

量化开发学习入门-概念篇

1.网格交易法 网格交易法&#xff08;Grid Trading&#xff09;是一种基于价格波动和区间震荡的交易策略。它适用于市场处于横盘或震荡的情况下。 网格交易法的基本思想是在设定的价格区间内均匀地建立多个买入和卖出水平&#xff08;网格&#xff09;&#xff0c;并在价格上…...

编程日记 2023/8/25 4:06:25

【草稿】关于文本句子分割（中文+英文）以及向量处理

获取文本 主函数 Main # -*- encoding: utf-8 -*- # Author: SWHL # Contact: liekkaskono163.com from pathlib import Path from typing import Dict, List, Unionimport filetypefrom ..utils import logger from .image_loader import ImageLoader from .office_loader i…...

编程日记 2023/8/25 4:05:24

【瑞吉外卖】所遇问题及解决方法

太菜了实习之余瑞吉外卖补充一下基础知识&#xff08;&#xff0c;不然真啥也不会了。 请输入正确的手机号&#xff01; 是因为我测试了我的手机号&#xff0c;爆红&#xff0c;以为方法有错。但其实是前端代码检查手机号是否符合规范的语句有点&#xff08;&#xff09;啊啊…...

编程日记 2023/8/25 4:04:23

【Hugo入门】基础用法

检查Hugo是否安装 hugo version显示所有可用命令 hugo help显示指定命令的可用子命令&#xff0c;例如查询server的所有子命令 hugo server --help建立你的网站&#xff0c;cd进入你的项目根目录运行 hugo默认发布内容到自动创建的public文件夹。 覆盖hugo或hugo server的默…...

编程日记 2023/8/25 4:03:21

Java实现一个简单的图书管理系统（内有源码）

简介 哈喽哈喽大家好啊&#xff0c;之前作者也是讲了Java不少的知识点了&#xff0c;为了巩固之前的知识点再为了让我们深入Java面向对象这一基本特性&#xff0c;就让我们完成一个图书管理系统的小项目吧。 项目简介&#xff1a;通过管理员和普通用户的两种操作界面&#xff0…...

编程日记 2023/8/25 4:02:18

网络安全等级保护2.0

等保介绍 信息系统运维安全管理规定&#xff08;范文&#xff09;| 资料 等保测评是为了符合国家法律发挥的需求&#xff0c;而不是安全认证&#xff08;ISO&#xff09; 一般情况没有高危安全风险一般可以通过&#xff0c;但若发现高位安全风险则一票否决 二级两年一次 三…...

编程日记 2023/8/25 4:01:17

【sql】MongoDB 增删改查 高级用法

【sql】MongoDB 增删改查 高级用法 相关使用文档 MongoDB Query API — MongoDB Manual https://www.mongodb.com/docs/manual/reference/sql-comparison //增 //新增数据2种方式 db.msg.save({"name":"springboot&#x1f600;"}); db.msg.insert({&qu…...

编程日记 2023/8/25 4:00:15

怎么做才能有效更新和优化产品手册文档

更新和优化产品手册文档是确保用户获得准确和最新信息的重要步骤。如果不及时地更新和优化信息&#xff0c;很容易导致我们的产品有滞后性&#xff0c;不能满足客户最新的需求。所以looklook总结了一些相关内容&#xff0c;以下是一些建议来更新和优化产品手册文档&#xff1a;…...

编程日记 2023/8/25 3:59:14

#P0867. 小武老师的烤全羊

问题描述 小武老师特别喜欢吃烤全羊&#xff0c;小武老师吃烤全羊很特别&#xff0c;为什么特别呢&#xff1f;因为他有 1010 种配料&#xff08;芥末、孜然等&#xff09;&#xff0c;每种配料可以放 11 到 33 克&#xff0c;任意烤全羊的美味程度为所有配料质量之和。 现在&…...

编程日记 2023/8/25 3:58:13

wordpress用户中心代码/怎么样做推广

1.查看防火墙状态查看防火墙状态 systemctl status firewalld开启防火墙 systemctl start firewalld关闭防火墙 systemctl stop firewalld开启防火墙 service firewalld start若遇到无法开启先用&#xff1a;systemctl unmask firewalld.service然后&#xff1a;systemctl star…...

编程日记 2025/1/30 9:55:15

wikiesu wordpress/软件推广接单平台

php Ajax乱码而AJAX支持UTF8好了&#xff0c;先在PHP页上加个header(”content-type:text/html; charsetutf-8″);告诉网页这个实现的编码是UTF-8然后把要输出的内容用$test iconv(gbk, ‘utf-8′, $test);转一下编码然后在输出大家有兴趣可以看看header(”content-type:text/…...

编程日记 2025/1/30 9:54:15

上海建网站服务器/微信scrm

1. iceOryx 是什么&#xff1f; 这是一头漂亮的"冰羚"&#xff0c;它是一种用于汽车软件中的 ICP 通信中间件&#xff0c;由 Eclipse 基金会发布和维护。 通信中间件在汽车软件开发中占据越来越重要的地位&#xff0c;这是因为自动驾驶的发展带动了系统内部不同进程…...

编程日记 2025/1/30 7:25:39

厦门入夏网站建设公司/百度业务范围

编辑版编辑版实验题目标准库函数使用与编译预处理实验时间2013-5-26实验地点DS1421实验成绩实验性质□验证性 □设计性 □综合性教师评价&#xff1a;□算法/实验过程正确&#xff1b;□源程序/实验内容提交□程序结构/实验步骤合理&#xff1b;□实验结果正确&#xff1b;□语…...

编程日记 2025/1/30 4:19:26

登录建设银行网站打不开/我想在百度上做广告怎么做

1&#xff1a;在app文件下新建templatetags,文件名不可改&#xff0c;django运行时会自动寻址。 2&#xff1a;templatetags下新建py文件。 3&#xff1a;py文件里需要引用申明&#xff1a;from django import template // 引入模板 from django.utils.safestring import mark_…...

编程日记 2025/1/30 0:58:37

宁波网站开发建设/中国外贸订单网

[iOS] 使用xib作为应用程序入口 with IDE 在「使用xib做为应用程序入口 with Code」这篇文章中&#xff0c;介绍了如何透过写Code的方式&#xff0c;来使用xib做为应用程序的入口。但其实在Xcode中&#xff0c;透过IDE所提供的工具&#xff0c;也可以达到相同的功能。本篇文章说…...

编程日记 2025/1/30 0:12:04