【Hadoop】hadoop的路径分不清？HDFS路径与本地文件系统路径的区别

/usr/local/hadoop
/user/hadoop
/home/hadoop/
这里有些路径名很相似，帮我区分？

        在Hadoop生态系统中，理解文件存储的位置对于有效管理数据至关重要。Hadoop分布式文件系统（HDFS）提供了一个高度可靠的存储系统，用于处理大数据。然而，对于初学者来说，区分HDFS路径和本地文件系统路径可能会有些困惑。本文将帮助你清晰地区分这些路径，并了解它们在实际应用中的作用。

本地文件系统路径

        在任何基于Linux的系统中，文件都存储在本地文件系统中。这些路径是物理存储设备上的直接映射。例如：

• /usr/local/hadoop：这是Hadoop软件安装目录的本地文件系统路径。指的是你的Linux操作系统中安装Hadoop软件的目录。这个目录包含了Hadoop的可执行文件、配置文件和库文件。当你需要运行Hadoop命令或者修改配置时，这个路径非常重要。

• /home/hadoop/：这是Linux系统中用户hadoop的家目录。指的是Linux系统中家目录（home directory）的路径，其中hadoop是该目录的所有者（即用户的用户名）。这个目录通常包含用户的个人文件和配置文件。在多用户环境中，每个用户都有自己的家目录。

HDFS路径

        HDFS是Hadoop提供的分布式文件系统，它允许跨多个机器存储和处理大数据。HDFS路径是逻辑路径，它们映射到Hadoop集群中的实际存储位置。例如：

• /user/hadoop：这是在HDFS（Hadoop Distributed File System）中为用户hadoop创建的目录。指的是HDFS中的一个目录，这个目录是在Hadoop集群的命名节点上创建的，用于存储数据文件。这个目录用于隔离不同用户的文件和数据。在HDFS中，每个用户都有自己的目录，类似于Linux系统中的家目录。

区分路径的重要性

        区分这些路径对于正确地管理和访问文件至关重要。例如，如果你需要运行Hadoop作业，你需要确保你的作业配置文件位于正确的本地文件系统路径。同样，如果你需要处理存储在HDFS中的数据，你需要使用HDFS路径来访问这些文件。

创建HDFS用户目录

        在Hadoop集群中，为每个用户创建一个HDFS目录是一个很好的实践。这不仅有助于组织数据，还可以提高安全性。以下是如何为用户hadoop（用户名叫hadoop）创建一个HDFS目录的步骤：

1. 切换到Hadoop安装目录：

   cd /usr/local/hadoop

2. 使用Hadoop文件系统命令创建HDFS目录：

   ./bin/hdfs dfs -mkdir -p /user/hadoop

        在这个命令中，-p参数确保如果父目录不存在，它们将被创建。这类似于Linux中的mkdir -p命令。

总结

        理解HDFS路径和本地文件系统路径的区别对于有效地使用Hadoop至关重要。通过清晰地区分这些路径，你可以更有效地管理你的数据和作业配置。记住，HDFS路径用于访问集群中存储的数据，而本地文件系统路径用于访问你的服务器或计算机上的文件。

• /usr/local/hadoop：Hadoop软件安装目录（本地文件系统）。
• /home/hadoop/：Linux系统中用户hadoop的家目录（本地文件系统）。
• /user/hadoop：HDFS中为用户hadoop创建的目录（HDFS路径）。

        在操作Hadoop时，你需要根据上下文来区分这些路径。例如，当你在Linux命令行中操作文件时，你会使用本地文件系统路径；而当你使用Hadoop的文件系统命令（如hdfs dfs）操作文件时，你会使用HDFS路径。