Hadoop Shell常用命令

Hadoop Shell命令在管理HDFS的时候还是比较常用的，Hadoop Shell命令与shell命令极为相似，但是方便查询，在这里总结分享，大家enjoy~~

1，cat

语法格式：hadoop fs -cat URI [URI …]
含义：将路径指定文件的内容输出到stdout。
示例：

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

2，chgrp

语法格式：hadoop fs -chgrp [-R] GROUP URI [URI …]
含义：改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

3，chmod

语法格式：hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
含义：改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
选项：
-R：递归修改文件。
< MODE >：模式与用于shell命令的模式相同。
< OCTALMODE>：数字表示。

4，chown

语法格式：hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
含义：改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

5，put

语法格式：hadoop fs -put …
含义：从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
选项：
-f：如果目标已存在，则覆盖该目标。
-p：保留访问和修改时间、所有权和模式。
-d：跳过临时文件的创建。
示例：

hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

6，mv

语法格式：hadoop fs -mv URI [URI …]
含义：将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
示例：

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

7，rm

语法格式：hadoop fs -rm URI [URI …]
含义：删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。
选项：
-f：如果文件不存在，不显示诊断消息或修改退出状态以反映错误。
-[rR]：递归删除目录。
-skipTrash：删除时不经过回收站，直接删除。
-safely：需要安全确认。
示例：

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

8，rmr

语法格式：hadoop fs -rmr URI [URI …]
含义：delete的递归版本。
示例：

hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir

9，tail

语法格式：hadoop fs -tail [-f] URI
含义：将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。
示例：

hadoop fs -tail pathname

10，test

语法格式：hadoop fs -test -[ezd] URI
参数：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。
示例：

hadoop fs -test -e filename

11，text

语法格式：hadoop fs -text
含义：将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
示例：

12，touchz

语法格式：hadoop fs -touchz URI [URI …]
含义：创建一个0字节的空文件。
示例：

hadoop -touchz pathname

13，du

语法格式：hdfs dfs –du –s /directory/filename
含义：HDFS 命令检查文件大小。
选项：
-s：显示总使用情况，不显示每个独立目录或文件的使用情况。
-h：以人类可读的方式格式化文件大小，而不是按字节数。
-x：不计算快照。
示例：

hdfs dfs –du –s / new_edureka / sample

14，copyFromLocal

语法格式：hdfs dfs -copyFromLocal
含义：HDFS 命令将文件从本地文件系统复制到 HDFS。
示例：

hdfs dfs –copyFromLocal /home/test/test/new_test

注意： 这里测试的是本地目录/home/test中的文件，命令执行后测试文件将被复制到HDFS的/new_test目录中。

15，copyToLocal

语法格式：hdfs dfs -copyToLocal
含义：HDFS 命令将文件从 HDFS 复制到本地文件系统。
示例：

hdfs dfs –copyToLocal /test/test/home/test

注意：这里的 test 是 HDFS 的 test目录下的一个文件，执行命令后，test 文件将被复制到本地目录 /home/test

16，get

语法格式：hdfs dfs -get
含义：HDFS 命令将文件从 hdfs 复制到本地文件系统。
选项：
-f：如果目标已存在，则覆盖该目标
-ignoreCrc：忽略CRC校验
-crc：使用CRC校验
示例：

hdfs dfs –get /user/test /home/test 

注意：命令 copyToLocal 类似于 get 命令，不同之处在于目标仅限于本地文件引用。

17，count

语法格式：hdfs dfs -count
含义：HDFS 命令计算路径下与指定文件模式匹配的目录、文件和字节数。
示例：

hdfs dfs –count /user

18，cp

语法格式：hdfs dfs -cp
含义：HDFS 命令将文件从源复制到目标。此命令也允许多个源，在这种情况下，目标必须是目录。
选项：
-f：如果目标已存在，则覆盖该目标。
-p , -p[topax] ：保留状态，参数[topax]分别表示（时间戳、所有权、权限、ACL、XAttr），无参数则不保留状态。
-d：跳过临时文件的创建。
示例：

hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

19，usage

语法格式：hdfs dfs -usage
含义：显示给定命令的用法，如果未指定则显示所有任何命令的用法。
选项：
-conf 指定一个应用的配置文件
-D <property=value> 给定属性的使用值
-fs <local|namenode:port> 指定一个namenode
-jt <local|resourcemanager:port> 指定一个ResourceManager
-files 指定使用逗号分隔被拷贝进map reduce集群的文件
-libjars 指定要包含在classpath中的逗号分隔的jar文件
-archives 指定要在计算机上的逗号分隔的存档文件

注意：通过使用 usage 命令，您可以获得有关任何命令的信息。

20 ，mkdir

语法格式：hdfs dfs -mkdir [-p] …
含义：通过 mkdir 命令可以实现在指定位置创建以 指定的文件名 命名的文件夹或目录。要创建文件夹或目录的用户必须对所创建的文件夹的父文件夹具有写权限。并且所创建的文件夹(目录)不能与其父目录(即父文件夹)中的文件名重名，即同一个目录下不能有同名的(区分大小写)。还可以设置目录的权限。
示例：

hdfs dfs -mkdir /test1

21，df

语法格式：hdfs dfs -df -h /
含义：统计文件系统的可用空间信息
选项：
-h：以人类可读的方式格式化文件大小，而不是按字节数。
示例：

hdfs dfs -df -h /

22，ls

语法格式：hdfs dfs -ls [-C] [-d] [-h] [-R] [-t] [-S] [-r] [-u] […]
含义：显示目录信息
选项：
-C：仅显示文件和目录的路径。
-d：目录列为普通文件。
-h：以人类可读的方式格式化文件大小，而不是按字节数。
-R：递归地列出目录的内容。
-t：按修改时间对文件排序（最近的第一次）。
-S：按大小对文件进行排序。
-r：颠倒排序顺序。
-u：使用上次访问的时间而不是修改来显示和排序。
示例：

hdfs dfs -ls /  

23，help

语法格式：hdfs dfs -help [cmd …]
含义：帮助命令
选项：
-d：显示命令简短的主题描述。
-s：显示命令简短的语法描述。
cmd…：需要查询的一个或多个命令。
示例：

hdfs dfs -help

以上内容，一部分来自我平常工作学习中用到的命令，还有一部分来源于网络的整理，仅供学习交流，如有侵犯，联系删除哦！