大数据系列-hadoop2分布式文件系统HDFS2(二)

2025-10-24 05:25:56

1、appendToFile 

#hdfs dfs -appendToFile <localsrc> ... <dst>

--追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.

例子:

#hdfs dfs -appendToFile file1 /user/hadoop/file4

#hdfs dfs -appendToFile file2 file3 /user/hadoop/file4  --上传多个

#hdfs dfs -appendToFile - /user/hadoop/file4   --表示直接用命令追加

2、cat 

#hdfs dfs -cat URI [URI ...]

--查看文件内容

例子:

 #hdfs dfs -cat /user/hadoop/file4

3、chgrp 

#hdfs dfs -chgrp [-R] GROUP URI [URI ...]

--修改文件所属组

-R表示递归

4、chmod

#hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

--修改文件权限

5、chown

#hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

--修改文件所有者,文件所属组,其他用户的读、写、执行权限

6、copyFromLocal

#hdfs dfs -copyFromLocal <localsrc> URI

--复制文件到hdfs

7、copyToLocal

#hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

--复制文件到本地

8、count

#hdfs dfs -count [-q] <paths>

--统计文件及文件夹数目

例子:

#hdfs dfs -count  /  --查看文件系统默认根目录

#hdfs dfs -count -q /

9、cp

#hdfs dfs -cp [-f] URI [URI ...] <dest>

--Hadoop HDFS 文件系统间的文件复制

例子:

#hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file5

10、du

#hdfs dfs -du [-s] [-h] URI [URI ...]

--统计目录下的文件及大小

11、dus

#hdfs dfs -dus <args>

--汇总目录下的文件总大小

12、expunge

#hdfs dfs -expunge

--清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

13、get

#hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

--下载文件到本地

14、#hdfs dfs -getfacl [-R] <path>

--查看ACL (访问权限组拥有者)

15、getmerge

#hdfs dfs -getmerge <src> <localdst> [addnl]

--合并下载文件到本地

16、ls

#hdfs dfs -ls <args>

--查看目录

17、lsr

#hdfs dfs -lsr <args>

--循环列出目录、子目录及文件信息

18、mkdir

#hdfs dfs -mkdir [-p] <paths>

--创建空白文件夹

19、moveFromLocal

#dfs -moveFromLocal <localsrc> <dst>

--剪切文件到hdfs

20、moveToLocal

#hdfs dfs -moveToLocal [-crc] <src> <dst>

--剪切文件到本地

21、mv

#hdfs dfs -mv URI [URI ...] <dest>

 --剪切hdfs文件

22、put

#hdfs dfs -put <localsrc> ... <dst>

--上传文件

23、rm

#hdfs dfs -rm [-skipTrash] URI [URI ...]

 --删除文件/空白文件夹

24、rmr

#hdfs dfs -rmr [-skipTrash] URI [URI ...]

--递归删除  删除文件及文件夹下的所有文件

25、setfacl 

#hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

--设置mapred用户只读

例子:

#hdfs dfs -setfacl -m user:mapred:r-- /input/acl

#hdfs dfs -getfacl /input/acl

#hdfs dfs -setfacl -m user:hadoop:rw- /file

#hdfs dfs -setfacl -x user:hadoop /file

#hdfs dfs -setfacl -b /file

#hdfs dfs -setfacl -k /dir

#hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file

#hdfs dfs -setfacl -R -m user:hadoop:r-x /dir

#hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

26、setrep

#hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

--修改副本数

27、stat

hdfs dfs -stat URI [URI ...]

--显示文件统计信息

28、tail

#hdfs dfs -tail [-f] URI

--查看文件尾部信息

29、test

#hdfs dfs -test -[ezd] URI

--

对PATH进行如下类型的检查: 

-e PATH是否存在,如果PATH存在,返回0,否则返回1 

-z 文件是否为空,如果长度为0,返回0,否则返回1 

-d 是否为目录,如果PATH为目录,返回0,否则返回1 

30、text

#hdfs dfs -text <src>

--查看文件内容

31、touchz

#hdfs dfs -touchz URI [URI ...]

--创建长度为0的空文件

声明:本网站引用、摘录或转载内容仅供网站访问者交流或参考,不代表本站立场,如存在版权或非法内容,请联系站长删除,联系邮箱:site.kefu@qq.com。
猜你喜欢