当前位置： 首页 > news >正文

2 | Window 搭建单机 Hadoop 和Spark

news 2026/2/9 3:23:29

搭建单机 Hadoop 和 Spark 环境可以学习和测试大数据处理的基础知识。在 Windows 操作系统上搭建这两个工具需要一些配置和设置，下面是一个详细的教程：

注意： 在开始之前，请确保你已经安装了 Java 开发工具包（JDK），并且已经下载了 Hadoop 和 Spark 的最新版本。你可以从官方网站或镜像站点获取它们。

步骤 1：安装和配置 Java

  1. 下载并安装 Oracle JDK 或 OpenJDK 的最新版本。你可以从 Oracle 官网或 OpenJDK 的官方网站下载。

  2. 设置系统环境变量：

    • 在 Windows 桌面上，右键点击 “此电脑” 并选择 “属性”。
    • 点击 “高级系统设置”。
    • 在 “高级” 选项卡下，点击 “环境变量” 按钮。
    • 在 “系统变量” 部分，点击 “新建”。
    • 输入变量名为 JAVA_HOME，变量值为你的 Java 安装路径，通常为 C:\Program Files\Java\jdk1.x.x_xxx。
    • 在 “系统变量” 中找到 “Path” 变量，点击 “编辑”。
    • 在变量值的末尾添加 ;%JAVA_HOME%\bin 并保存。


添加 %JAVA_HOME%\bin 和 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.ja

相关文章：

2 | Window 搭建单机 Hadoop 和Spark

搭建单机 Hadoop 和 Spark 环境可以学习和测试大数据处理的基础知识。在 Windows 操作系统上搭建这两个工具需要一些配置和设置，下面是一个详细的教程： 注意： 在开始之前，请确保你已经安装了 Java 开发工具包（JDK），并且已经下载了 Hadoop 和 Spark 的最新版本。你可以从…...

编程日记 2023/9/3 7:53:30

接口测试与功能测试的区别~

今天为大家分享的是我们在日常测试工作中, 一定会接触并且目前在企业中是主要测试内容的 功能测试与接口测试 一.功能测试与接口测试的基本概念。 1.1 什么是功能测试呢? 功能测试: 是黑盒测试的一方面, 检查实际软件的功能是否符合用户的需求 功能测试测试的内容包括以下…...

编程日记 2023/9/3 7:52:29

LeetCode 23 合并 K 个升序链表

LeetCode 23 合并 K 个升序链表 来源：力扣（LeetCode） 链接：https://leetcode.cn/problems/merge-k-sorted-lists/description/ 博主Github：https://github.com/GDUT-Rp/LeetCode 题目： 给你一个链表数组…...

编程日记 2023/9/3 7:51:28

[国产MCU]-W801开发实例-TCP客户端

TCP客户端 文章目录 TCP客户端1、TCP协议简单介绍2、W801创建TCP客户流程本文将详细介绍如何在W801中使用TCP客户端。 1、TCP协议简单介绍 传输控制协议 (TCP) 是一种标准，它定义了如何建立和维护应用程序可以用来交换数据的网络对话。 TCP 与 Internet 协议 (IP) 一起工作，…...

编程日记 2023/9/3 7:50:27

《爵士乐史》乔德.泰亚 笔记

第一章 【美国音乐的非洲化】 【乡村布鲁斯和经典布鲁斯】 布鲁斯：不止包括忧愁、哀痛 十二小节布鲁斯特征： 1.乐型（A:主、B:属、C/D:下属）：A→A→B→A→C→D→A→A 2.旋律：大三、小三、降七、降五 盲人…...

编程日记 2023/9/3 7:49:26

工程制造领域：企业IT架构

一、IT组织规划架构图 1.1 IT服务保证梯队与指导思想 二、整体业务规划架构图 三、数据化项目规划架构图 四、应用系统集成架构图...

编程日记 2023/9/3 7:48:09

PY32F003F18点灯

延时函数学习完之后，可以学习PY32F003F18的GPIO输出功能。 1、Debug引脚默认被置于复用功能上拉或下拉模式：PA14默认为SWCLK: 置于下拉模式PA13默认为SWDIO: 置于上拉模式PF4默认为Boot：Boot引脚默认置于输入下拉模式 2、GPIO输出状态&#…...

编程日记 2023/9/3 7:47:08

Mac不想用iTerm2了怎么办

这东西真是让人又爱又恨，爱的是它的UI还真不错，恨的是它把我的环境给破坏啦！让我每次启动终端之后都要重新source激活我的python环境，而且虚拟环境前面没有括号啦！这怎么能忍！在UI和实用性面前我断然选择实…...

编程日记 2023/9/3 7:46:07

x86_64 ansible 源码编译安装

源码 GitHub - ansible/ansible: Ansible is a radically simple IT automation platform that makes your applications and systems easier to deploy and maintain. Automate everything from code deployment to network configuration to cloud management, in a languag…...

编程日记 2023/9/3 7:45:07

数据结构学习系列之顺序表的两种插入方式

方式1：在顺序表末端插入数据元素，代码如下：示例代码： int insert_seq_list_1(list_t *seq_list,int data){if(NULL seq_list){printf("入参为NULL\n");return -1;}if(N seq_list->count){printf("顺序表已满…...

编程日记 2023/9/3 7:44:05

Matlab/Python教程系列 | 根据目录下的已有图片制作视频(动画)

MATLAB和Python的编程教程: 根据目录下的已有图片制作视频(动画) 注1：本文系“MATLAB/Python编程教程”系列之一，致力于使用Python和Matlab实现特定的功能。本次要实现的功能是：根据目录下的已有图片制作视频(动画)。 在这个教程中，我们将一起学习如何使用MATLAB和Python编…...

编程日记 2023/9/3 7:43:04

Pyecharts数据可视化（一）

目录 1.Pyecharts简介 2.Pyecharts的常用方法 3.Pyecharts绘制柱状图 3.1 绘制并列柱状图 3.2 绘制水平直方图 1.Pyecharts简介 Pyecharts是一个用于创建交互式图表的Python库。它基于Echarts，一个强大的JavaScript图表库，Pyecharts允许Python开发者…...

编程日记 2023/9/3 7:42:02

stable diffusion实践操作-提示词-图片结构

系列文章目录 stable diffusion实践操作-提示词 文章目录 系列文章目录前言一、提示词汇总1.1 图片结构11.2 图片结构21.3 图片结构3 二、总结 前言 本文主要收纳总结了提示词-图片结构。 一、提示词汇总 1.1 图片结构1 StylesArtistshudson river school哈得逊河学派alpho…...

编程日记 2023/9/3 7:41:00

程序员自由创业周记#2：前期准备

感恩 上次公开了创业的决定后，得到了很多亲朋好友和陌生朋友的鼓励或支持，以不同的形式，感动之情溢于言表。这些都会记在心里，大恩不言谢~ 创业方向 笔者是一名资质平平的iOS开发程序猿，创业项目也就是开发App卖&am…...

编程日记 2023/9/3 7:40:00

Elasticsearch实战（四）：Springboot实现Elasticsearch指标聚合与下钻分析open-API

文章目录 系列文章索引一、指标聚合与分类1、什么是指标聚合（Metric）2、Metric聚合分析分为单值分析和多值分析两类3、概述 二、单值分析API设计1、Avg(平均值)（1）对所有文档进行avg聚合（DSL）（2…...

编程日记 2023/9/3 7:38:58

Opencv图像暗通道调优

基于雾天退化模型的去雾算法，Opencv图像暗通道调优，（清华版代码）对普通相片也有较好的调优效果，相片更通透。 结合代码实际运行效果、算法理论模型、实际代码。我个人理解，实际效果是对图像的三个颜色通道…...

编程日记 2023/9/3 7:37:57

怎样来实现流量削峰方案

削峰从本质上来说就是更多地延缓用户请求，以及层层过滤用户的访问需求，遵从“最后落地到数据库的请求数要尽量少”的原则。 1.消息队列解决削峰 要对流量进行削峰，最容易想到的解决方案就是用消息队列来缓冲瞬时流量，把同步的直…...

编程日记 2023/9/3 7:36:54

git status搜索.c和.h后缀及git新建分支

git status搜索.c和.h后缀及git新建分支 1.脚本代码2.git新建分支（1）创建新分支（2）删除本地分支（3）删除远端分支（4）合并分支3.指定历史版本创建分支1.脚本代码 $ git status | grep "\.[hc]$"$ 是行尾的意思 \b 就是用在你匹配整个单词的时候。 如果不是整个…...

编程日记 2023/9/3 7:35:53

【配置环境】Visual Studio 配置 OpenCV

目录 一，环境 二，下载和配置 OpenCV 三，创建一个 Visual Studio 项目 四，配置 Visual Studio 项目 五，编写并编译 OpenCV 程序 六，解决CMake编译OpenCV报的错误 一，环境 Windows 11 家庭中…...

编程日记 2023/9/3 7:34:52

java.sql.SQLException: com.mysql.cj.jdbc.Driver

这篇文章分享一下Springboot整合Elasticsearch时遇到的一个问题，项目正常启动，但是查询数据库的时候发生了一个异常java.sql.SQLException: com.mysql.cj.jdbc.Driver java.sql.SQLException: com.mysql.cj.jdbc.Driverat com.alibaba.druid.util.JdbcU…...

编程日记 2023/9/3 7:33:51

HTML 语义化

目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案&#xff1a; 语义化标签&#xff1a; <header>&#xff1a;页头<nav>&#xff1a;导航<main>&#xff1a;主要内容<article>&#x…...

编程新知 2026/1/15 21:24:41

Module Federation 和 Native Federation 的比较

前言 Module Federation 是 Webpack 5 引入的微前端架构方案&#xff0c;允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...

编程新知 2026/1/31 13:48:37

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作

一、上下文切换 即使单核CPU也可以进行多线程执行代码&#xff0c;CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短&#xff0c;所以CPU会不断地切换线程执行&#xff0c;从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

编程新知 2026/1/31 23:25:09

【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统

目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索&#xff08;基于物理空间 广播范围&#xff09;2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...

编程新知 2025/12/12 6:01:17

如何在网页里填写 PDF 表格？

有时候&#xff0c;你可能希望用户能在你的网站上填写 PDF 表单。然而&#xff0c;这件事并不简单&#xff0c;因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件&#xff0c;但原生并不支持编辑或填写它们。更糟的是&#xff0c;如果你想收集表单数据&#xff…...

编程新知 2026/2/6 22:20:51

纯 Java 项目（非 SpringBoot）集成 Mybatis-Plus 和 Mybatis-Plus-Join

纯 Java 项目&#xff08;非 SpringBoot&#xff09;集成 Mybatis-Plus 和 Mybatis-Plus-Join 1、依赖1.1、依赖版本1.2、pom.xml 2、代码2.1、SqlSession 构造器2.2、MybatisPlus代码生成器2.3、获取 config.yml 配置2.3.1、config.yml2.3.2、项目配置类 2.4、ftl 模板2.4.1、…...

编程新知 2025/9/26 12:26:35

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2026/2/4 15:42:45

学习一下用鸿蒙​​DevEco Studio HarmonyOS5实现百度地图

在鸿蒙&#xff08;HarmonyOS5&#xff09;中集成百度地图&#xff0c;可以通过以下步骤和技术方案实现。结合鸿蒙的分布式能力和百度地图的API&#xff0c;可以构建跨设备的定位、导航和地图展示功能。 ​​1. 鸿蒙环境准备​​ ​​开发工具​​&#xff1a;下载安装 ​​De…...

编程新知 2025/11/13 2:37:01

精益数据分析（98/126）：电商转化率优化与网站性能的底层逻辑

精益数据分析&#xff08;98/126&#xff09;&#xff1a;电商转化率优化与网站性能的底层逻辑 在电子商务领域&#xff0c;转化率与网站性能是决定商业成败的核心指标。今天&#xff0c;我们将深入解析不同类型电商平台的转化率基准&#xff0c;探讨页面加载速度对用户行为的…...

编程新知 2025/8/1 17:29:00

欢乐熊大话蓝牙知识17:多连接 BLE 怎么设计服务不会乱？分层思维来救场！

多连接 BLE 怎么设计服务不会乱&#xff1f;分层思维来救场&#xff01; 作者按&#xff1a; 你是不是也遇到过 BLE 多连接时&#xff0c;调试现场像网吧“掉线风暴”&#xff1f; 温度传感器连上了&#xff0c;心率带丢了&#xff1b;一边 OTA 更新&#xff0c;一边通知卡壳。…...

编程新知 2026/2/7 11:26:09