You need to enable JavaScript to run this app.
导航

基础使用

最近更新时间2022.08.19 18:17:18

首次发布时间2022.08.18 16:19:48

HDFS 常见操作命令

1.列出 HDFS 文件

hdfs dfs -ls <path>

2.上传文件到 HDFS

hdfs dfs -put <local file> <hdfs file>

#example:

hdfs dfs -put testFile /input/testFile

#把当前本地目录下的testFile文件上传到HDFS /input目录下,并命名为testFile

3.将 HDFS 中的文件复制到本地系统中

hdfs dfs -get <hdfs file> <local file or dir>

需要注意的是,local file不能和 hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地。
如果需要拷贝多个文件或目录到本地时,本地要为文件夹路径:

hdfs dfs -get <hdfs file or dir> ... <local dir>

4.删除文件

hdfs dfs -rm <hdfs file>

hdfs dfs -rm -r <hdfs dir>

5.查看 HDFS 下的某个文件

hdfs dfs -cat <hdfs file>

6.创建 HDFS 目录

hdfs dfs -mkdir <hdfs path>

需要注意的是,待创建的子目录的父目录必须存在,如果父目录不存在的话使用这个命令会报错。
当使用以下命令创建目录时,如果父目录不存在,则会自动创建:

hdfs dfs -mkdir -p <hdfs path>

7.复制文件

hdfs dfs -cp <hdfs file> <hdfs file>

8.移动文件

hdfs dfs -mv <hdfs file> <hdfs file>

9.修改目录或者文件的权限

hadoop fs -chmod -R mode <hdfs file or dir>

#example:
hadoop fs -chmod -R 777 /usr

10.查看文件或者目录的存储使用量

hdfs dfs -du URI [URI …]

关于 HDFS 命令的更多详细介绍,请参见 Apache Hadoop 社区文档。