当前位置：首页 > news >正文

1+X大数据平台运维职业技能等级证书中级

news 文章来源：https://blog.csdn.net/HYSliuliuliu/article/details/134992035 2025/1/19 16:58:00

hadoop：

由于我的功能限制，我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导，帮助您完成这些任务。
1. 解压JDK安装包到“/usr/local/src”路径，并配置环境变量。
- 解压JDK：`tar -zxf jdk-版本号-linux-x64.tar.gz` 到 `/usr/local/src/`
- 配置环境变量：编辑 `~/.bashrc` 或 `~/.bash_profile`，添加 `export JAVA_HOME=/usr/local/src/jdk-版本号` 和 `export PATH=$JAVA_HOME/bin:$PATH`
- 使环境变量生效：`source ~/.bashrc` 或 `source ~/.bash_profile`
2. 在指定目录下安装ssh服务，查看ssh进程。
- 安装SSH服务：`yum install openssh-server`
- 查看SSH进程：`ps -ef | grep ssh`
3. 创建SSH密钥，实现主节点与从节点的无密码登录。
- 在主节点创建密钥：`ssh-keygen -t rsa`
- 将公钥复制到从节点：`ssh-copy-id user@slave-node`
4. 修改每台主机host文件。
- 编辑 `/etc/hosts` 文件，添加或修改IP地址与主机名的映射关系。
5. 修改每台主机hostname文件配置IP与主机名映射关系。
- 编辑 `/etc/hostname` 文件，确保其中记录了正确的主机名。
6. 在主节点和从节点修改Hadoop环境变量。
- 编辑 `~/.bashrc` 或 `~/.bash_profile`，添加Hadoop的环境变量配置。
7. 安装Zookeeper组件。
- 根据Zookeeper的安装指南进行安装。
8. 修改namenode、datanode、journalnode等存放数据的公共目录。
- 编辑Hadoop配置文件，指定公共目录为 `/usr/local/hadoop/tmp`。
9. 修改Hadoop相关文件，并初始化Hadoop。
- 根据要求编辑Hadoop配置文件，初始化Hadoop集群。
10. 启动Hadoop，使用相关命令查看所有节点Hadoop进程。
- 启动Hadoop集群，使用 `jps` 命令查看节点进程。
11. 配置完成后在Hadoop平台上运行查看进程命令。
- 在Hadoop平台上执行 `jps` 或相应进程查看命令，并截屏保存结果。
12. 格式化主从节点。
- 使用Hadoop命令格式化主从节点。
13. 启动两个namenode和resourcemanager。
- 使用Hadoop命令启动两个namenode和resourcemanager。
14. 使用查看进程命令查看进程，并截图。
- 执行 `jps` 命令，并截取包含主机名称的图片。
- 访问两个namenode和resourcemanager的web界面，并截图保存包含URL和状态的信息。
15. 终止active的namenode进程，并使用Jps查看各个节点进程。
- 使用 `kill` 命令终止active的namenode进程。
- 使用 `jps` 命令查看节点进程，并截图。
- 访问两个namenode和resourcemanager的web界面，并截图保存包含URL和状态的信息。
16. 重启刚才终止的namenode，并查看jps进程。
- 重启namenode进程。
- 使用 `jps` 命令查看进程。
- 访问两个namenode的web界面，并截图保存。
请注意，以上步骤需要根据您的实际环境和配置进行调整。在执行操作时，应具备相应权限，并严格按照操作规范进行，避免对系统造成不必要的影

spark：

由于我的功能限制，我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导，帮助您完成这些任务。
1. 需前置Hadoop环境，并检查Hadoop环境是否可用。
- 确保已经安装并配置好Hadoop环境。
- 使用 `hadoop version` 命令检查Hadoop版本，并截图保存结果。
2. 解压Scala安装包到“/etc/local/src”路径下，并更名为scala。
- 解压Scala安装包：`tar -zxf scala-版本号.tgz` 到 `/etc/local/src/`
- 重命名解压后的文件夹为 `scala`：`mv /etc/local/src/scala-版本号 /etc/local/src/scala`
3. 设置Scala环境变量，并使环境变量只对当前用户生效。
- 编辑 `~/.bashrc` 或 `~/.bash_profile`，添加 `export SCALA_HOME=/etc/local/src/scala` 和 `export PATH=$SCALA_HOME/bin:$PATH`
- 使环境变量生效：`source ~/.bashrc` 或 `source ~/.bash_profile`
- 使用 `echo $SCALA_HOME` 命令检查Scala环境变量，并截图保存结果。
4. 进入Scala并截图。
- 使用 `scala` 命令进入Scala交互式shell。
- 使用截图工具截取Scala交互式shell的界面，并保存结果。
5. 解压Spark安装包到“/etc/local/src”路径下，并更名为spark。
- 解压Spark安装包：`tar -zxf spark-版本号.tgz` 到 `/etc/local/src/`
- 重命名解压后的文件夹为 `spark`：`mv /etc/local/src/spark-版本号 /etc/local/src/spark`
6. 设置Spark环境变量，并使环境变量只对当前用户生效。
- 编辑 `~/.bashrc` 或 `~/.bash_profile`，添加 `export SPARK_HOME=/etc/local/src/spark` 和 `export PATH=$SPARK_HOME/bin:$PATH`
- 使环境变量生效：`source ~/.bashrc` 或 `source ~/.bash_profile`
- 使用 `echo $SPARK_HOME` 命令检查Spark环境变量，并截图保存结果。
7. 修改Spark参数配置，指定Spark slave节点。
- 编辑Spark配置文件 `spark-defaults.conf`，在文件中添加 `spark.workerNode Address` 配置项，指定slave节点的IP地址和端口。
- 使用 `cat` 或 `less` 命令查看配置文件内容，并截图保存结果。
8. 启动Spark，并使用命令查看webUI结果。
- 使用 `spark-submit` 命令启动Spark应用。
- 使用 `curl` 或浏览器访问Spark webUI，并截图保存结果。
请注意，以上步骤需要根据您的实际环境和配置进行调整。在执行操作时，应具备相应权限，并严格按照操作规范进行，避免对系统造成不必要的影

kafka:

由于我的功能限制，我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导，帮助您完成这些任务。
1. 安装Zookeeper组件，与Kafka环境适配，启动Zookeeper。
- 根据Zookeeper的安装指南进行安装。
- 使用 `zkCli.sh` 命令启动Zookeeper，并截图保存结果。
2. 解压Kafka安装包到“/usr/local/src”路径，并修改解压后文件夹名为kafka。
- 解压Kafka安装包：`tar -zxf kafka_2.12-版本号.tgz` 到 `/usr/local/src/`
- 重命名解压后的文件夹为 `kafka`：`mv /usr/local/src/kafka_2.12-版本号 /usr/local/src/kafka`
3. 设置Kafka环境变量，并使环境变量只对当前root用户生效。
- 编辑 `~root/.bashrc` 或 `~root/.bash_profile`，添加 `export KAFKA_HOME=/usr/local/src/kafka` 和 `export PATH=$KAFKA_HOME/bin:$PATH`
- 使环境变量生效：`source ~/.bashrc` 或 `source ~/.bash_profile`
- 使用 `echo $KAFKA_HOME` 命令检查Kafka环境变量，并截图保存结果。
4. 修改Kafka相应文件。
- 根据实际需求修改Kafka配置文件，如 `server.properties`、`consumer.properties` 和 `producer.properties`。
- 使用 `cat` 或 `less` 命令查看修改后的配置文件内容，并截图保存结果。
5. 启动Kafka并保存命令输出结果。
- 使用 `kafka-server-start.sh` 命令启动Kafka服务。
- 使用 `tail` 命令查看Kafka日志输出，并截图保存结果。
6. 创建指定topic。
- 使用 `kafka-topics.sh` 命令创建topic，如 `kafka-topics.sh --create --topic mytopic --partitions 3 --replication-factor 2`
- 使用 `kafka-topics.sh --list` 命令查看创建的topic，并截图保存结果。
7. 查看所有的topic信息。
- 使用 `kafka-topics.sh --describe` 命令查看所有topic的详细信息，并截图保存结果。
8. 启动指定生产者（producer）。
- 使用 `kafka-console-producer.sh` 命令启动生产者，并截图保存结果。
9. 启动消费者（consumer）。
- 使用 `kafka-console-consumer.sh` 命令启动消费者，并截图保存结果。
10. 测试生产者（producer）。
- 在生产者终端输入数据，观察Kafka主题中是否出现数据，并截图保存结果。
11. 测试消费者（consumer）。
- 在消费者终端观察收到的数据，并截图保存结果。
请注意，以上步骤需要根据您的实际环境和配置进行调整。在执行操作时，应具备相应权限，并严格按照操作规范进行，避免对系统造成不必要的影

storm:

由于我的功能限制，我无法直接为您执行这些操作或提供实际的截图。但我可以为您提供一步步的指导，帮助您完成这些任务。
1. 前置安装Zookeeper集群。
- 根据Zookeeper的安装指南进行安装。
- 使用 `zkCli.sh` 命令检查Zookeeper集群状态，并截图保存结果。
2. 解压Storm安装包到“/usr/local/src”路径，并修改解压后文件夹名为storm。
- 解压Storm安装包：`tar -zxf storm-版本号.tgz` 到 `/usr/local/src/`
- 重命名解压后的文件夹为 `storm`：`mv /usr/local/src/storm-版本号 /usr/local/src/storm`
3. 配置“conf/storm.yaml”文件。
- 编辑 `conf/storm.yaml` 文件，根据实际需求进行配置。
- 使用 `cat` 或 `less` 命令查看配置文件内容，并截图保存结果。
4. 传送配置好的“conf/storm.yaml”文件。
- 使用 `scp` 或其他文件传输工具将配置好的 `conf/storm.yaml` 文件传送到从节点。
- 使用 `ls` 命令在从节点上确认文件已传输，并截图保存结果。
5. 配置nimbus.seeds文件。
- 编辑 `storm/Config.java` 文件，根据实际需求配置nimbus.seeds。
- 使用 `cat` 或 `less` 命令查看修改后的 `storm/Config.java` 文件内容，并截图保存结果。
6. 配置supervisor.slots.ports。
- 编辑 `storm.yaml` 文件，配置 supervisor.slots.ports 参数。
- 使用 `cat` 或 `less` 命令查看修改后的 `storm.yaml` 文件内容，并截图保存结果。
7. 拷贝主节点Storm包到从节点。
- 使用 `scp` 或其他文件传输工具将主节点的Storm包拷贝到从节点。
- 使用 `ls` 命令在从节点上确认Storm包已拷贝，并截图保存结果。
8. 设置Storm环境变量，并使环境变量只对当前root用户生效。
- 编辑 `~root/.bashrc` 或 `~root/.bash_profile`，添加 `export STORM_HOME=/usr/local/src/storm` 和 `export PATH=$STORM_HOME/bin:$PATH`
- 使环境变量生效：`source ~/.bashrc` 或 `source ~/.bash_profile`
- 使用 `echo $STORM_HOME` 命令检查Storm环境变量，并截图保存结果。
9. 在主节点和从节点启动Storm，并截图保存(要求截到url和状态)。
- 在主节点上使用 `storm nimbus` 命令启动Nimbus。
- 在从节点上使用 `storm supervisor` 命令启动Supervisor。
- 使用浏览器或 `curl` 命令访问Nimbus和Supervisor的WebUI，并截图保存结果。
请注意，以上步骤需要根据您的实际环境和配置进行调整。在执行操作时，应具备相应权限，并严格按照操作规范进行，避免对系统造成不必要的影

Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客

hadoop：

spark：

kafka:

storm:

相关文章：