Hadoop3：MR程序压测实验
一、环境要求
内存：128G
CPU：32C
磁盘：8T
注：一个虚拟机不超过150G磁盘尽量不要执行这段代码
二、案例
1、需求
使用Sort程序评测MapReduce
2、操作步骤
1、使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar randomwriter random-data
2、执行Sort程序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar sort random-data sorted-data
3、验证数据是否真正排好序
hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data
3、结论
如果，在上述服务器的配置下，这个实验应该是在1分钟左右执行完毕。
相关文章：
Hadoop3：MR程序压测实验
一、环境要求 内存：128G CPU：32C 磁盘：8T 注：一个虚拟机不超过150G磁盘尽量不要执行这段代码 二、案例 1、需求 使用Sort程序评测MapReduce 2、操作步骤 1、使用RandomWriter来产生随机数，每个节点运行10个Map任…...
初学者如何通过建立个人博客盈利
建立个人博客不仅能让你在网上表达自己，还能与他人建立联系。通过博客，可以创建自己的空间，分享想法和故事，并与有相似兴趣和经历的人交流。 本文将向你展示如何通过建立个人博客来实现盈利。你将学习如何选择博客主题、挑选合适…...
构建稳健性：如何在Gradle中配置构建失败时的行为
构建稳健性：如何在Gradle中配置构建失败时的行为 在软件开发过程中，构建失败是不可避免的。然而，如何优雅地处理构建失败并从中恢复，是提高开发效率和软件质量的关键。Gradle，作为一款强大的构建工具，提供…...
大语言模型-基础及拓展应用
一、基础模型 1、Transformer 2、bert 3、gpt 二、大语言模型 三、句子向量 四、文档解析 1、通用解析 2、docx解析 3、 pdf解析 4、pptx解析 五、向量数据库...
STM32使用Wifi连接阿里云
目录 1 实现功能 2 器件 3 AT指令 4 阿里云配置 4.1 打开阿里云 4.2 创建产品 4.3 添加设备 5 STM32配置 5.1 基础参数 5.2 功能定义 6 STM32代码 本文主要是记述一下，如何使用阿里云物联网平台，创建一个简单的远程控制小灯示例。 完整工程&a…...
2024.7.16日 最新版 docker cuda container tookit下载！
nvidia官方指导 https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html 其实就是这几个命令，但是有墙： curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/shar…...
打印室预约小程序的设计
管理员账户功能包括：系统首页，个人中心，用户管理，附近打印店管理，文件打印管理，当前预约管理，预约历史管理，打印记录管理 开发系统：Windows 架构模式：SSM JD…...
Android音视频—OpenGL 与OpenGL ES简述，渲染视频到界面基本流程
文章目录 OpenGL 简述特点和功能主要组件OpenGL ES当前状态 OpenGL ES 在 Android 上进行视频帧渲染总体流程 OpenGL 简述 OpenGL（Open Graphics Library）是一个跨平台的、语言无关的应用程序编程接口（API），用于开发生…...
Vscode中Github copilot插件无法使用（出现感叹号）解决方案
1、击扩展或ctrl shift x 2、搜索查询或翻找到Github compilot 3、点击插件并再左侧点击登录github 点击Sign up for a ... 4、跳转至github登录页，输入令牌完成登陆后返回VScode 5、插件可以正常使用...
Spring-cloud-openfeign-@FeignClient中的configuration属性
FeignClient注解中的configuration属性就是设置相关配置，但是这个属性写的非常的不好，而且在它的注释中也没有写全，所以本文记录一下，当我们的代码如下时： FeignClient(name "xxx", configuration Abc.cl…...
实验七：图像的复原处理
一、实验目的 熟悉常见的噪声及其概率密度函数。熟悉在实际应用中比较重要的图像复原技术，会对退化图像进行复原处理。二、实验原理 1. 图像复原技术，说简单点，同图像增强那样，是为了以某种预定义的方式来改进图像。在具体操作过程中用流程图表示，其过程就如下面所示： 2…...
前端面试题日常练-day94 【Less】
题目 希望这些选择题能够帮助您进行前端面试的准备，答案在文末 在Less中，以下哪个功能用于处理文本换行？ a) wrap-text() b) word-wrap() c) text-wrap() d) line-break() Less中的Variables是用来做什么的？ a) 控制元素位置 b)…...
c 语言 中 是否有 unsigned 安；这种写法?
你提到的结构体定义使用了unsigned这种没有完全限定类型的写法，在C语言中，这种语法通常会被解释为unsigned int。这是因为在C语言中，unsigned是unsigned int的缩写形式。 下面是你的结构体定义以及解释： struct exec {unsigned …...
Hive第三天
1. 后台启动HIVE的JDBC连接 0 表示标准输入 1 表示标准输出 2 表示标准错误输出 nohup 表示挂起 最后的 & 表示 后台启动 nohup hive -service hiveserver2 > /usr/local/soft/hive-3.1.2/log/hiveserver2.log 2>&1 & jps 查看 Runj…...
【C++】模版初阶以及STL的简介
个人主页~ 模版及STL 一、模版初阶1、泛型编程2、函数模版（1）概念（2）函数模版格式（3）函数模版的原理（4）函数模版的实例化①显式实例化②隐式实例化 （5）模版参…...
51单片机学习（4）
一、串口通信 1.串口通信介绍 写完串口函数时进行模块化编程，模块化编程之后要对其进行注释，以便之后使用模块化函数，对模块化.c文件中的每一个函数进行注释。 注意：一个函数不能既在主函数又在中断函数中 模式1最常用…...
3D问界—MAYA制作铁丝栅栏（透明贴图法）
当然，如果想通过建立模型法来实现铁丝栅栏的效果，也不是不行，可以找一下栅栏建模教程。本篇文章主要是记录一下如何使用透明贴图来实现创建铁丝栅栏，主要应用于场景建模，比如游戏场景、建筑场景等大环境，不…...
编译器对C++23的支持程度
详见这里...
k8s核心操作_存储抽象_K8S中使用Secret功能来存储密码_使用免密拉取镜像_k8s核心实战总结---分布式云原生部署架构搭建033
注意在看的时候一定要把 dxxxx中的xxxx换成--o----c----k----e----r 然后我们再来看一个k8s中的secret的功能,这个功能 用来存储密码的,configMap是用来存配置的 比如我们有个pod,他的镜像,如果是需要密码的,那么 我们现在是从公共仓库拉取的,如果我们从私有仓库拉取,有密码…...
21集 ESP32-IDF开发教程-《MCU嵌入式AI开发笔记》
21集 ESP32-IDF开发教程-《MCU嵌入式AI开发笔记》 之前我们用了windows系统搭建了ESP-IDF的开发环境， 我们还是参考这个官方文档https://docs.espressif.com/projects/esp-idf/zh_CN/release-v5.1/esp32s3/get-started/index.html 同时我们也参考之前讲到的&#…...
JavaSec-RCE
简介 RCE(Remote Code Execution)，可以分为:命令注入(Command Injection)、代码注入(Code Injection) 代码注入 1.漏洞场景：Groovy代码注入 Groovy是一种基于JVM的动态语言，语法简洁，支持闭包、动态类型和Java互操作性，…...
CTF show Web 红包题第六弹
提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...
Go 语言接口详解
Go 语言接口详解 核心概念 接口定义 在 Go 语言中，接口是一种抽象类型，它定义了一组方法的集合： // 定义接口 type Shape interface {Area() float64Perimeter() float64 } 接口实现 Go 接口的实现是隐式的： // 矩形结构体…...
DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...
面向无人机海岸带生态系统监测的语义分割基准数据集
描述：海岸带生态系统的监测是维护生态平衡和可持续发展的重要任务。语义分割技术在遥感影像中的应用为海岸带生态系统的精准监测提供了有效手段。然而，目前该领域仍面临一个挑战，即缺乏公开的专门面向海岸带生态系统的语义分割基准数据集。受…...
[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.
ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #：…...
大数据驱动企业决策智能化的路径与实践
📝个人主页🌹：慌ZHANG-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：数据驱动的企业竞争力重构 在这个瞬息万变的商业时代，“快者胜”的竞争逻辑愈发明显。企业如何在复杂环…...
Easy Excel
Easy Excel 一、依赖引入二、基本使用1. 定义实体类（导入/导出共用）2. 写 Excel3. 读 Excel 三、常用注解说明（完整列表）四、进阶：自定义转换器（Converter） 其它自定义转换器没生效 Easy Excel在…...
Git 命令全流程总结
以下是从初始化到版本控制、查看记录、撤回操作的 Git 命令全流程总结，按操作场景分类整理： 一、初始化与基础操作 操作命令初始化仓库git init添加所有文件到暂存区git add .提交到本地仓库git commit -m "提交描述"首次提交需配置身份git c…...
标注工具核心架构分析——主窗口的图像显示
🏗️ 标注工具核心架构分析 📋 系统概述 主要有两个核心类，采用经典的 Scene-View 架构模式： 🎯 核心类结构 1. AnnotationScene (QGraphicsScene子类) 主要负责标注场景的管理和交互 🔧 关键函数&…...