Mac上Docker部署的Hadoop无法将本地文本文件传输/复制到HDFS

问题核心原因 #

Docker容器与Mac宿主机默认文件系统隔离，你在Hadoop容器内执行hdfs dfs -put命令时，默认读取的是容器内部的文件路径，而非Mac本地的文件路径，因此会出现本地文件存在但容器识别不到的报错。

可行解决方案 #

• 方案1：先将本地文件拷贝到Docker容器内再上传HDFS
  1. 在Mac本地终端执行命令，将文件传入容器：
     docker cp 本地txt文件绝对路径 Hadoop容器名/容器ID:容器内存储路径
  2. 进入容器内部终端：
     docker exec -it Hadoop容器名/容器ID bash
  3. 执行HDFS上传命令即可：
     hdfs dfs -put 容器内的txt文件路径 HDFS目标存储路径
• 方案2：启动容器时挂载本地目录（适合长期使用场景）
  启动Hadoop容器时添加-v参数做目录映射，后续本地目录下的文件会自动同步到容器内，无需重复拷贝：
  docker run -v 本地存储txt文件的目录绝对路径:容器内映射目录路径 其他启动参数 Hadoop镜像名
• 其他排查项
  1. 确认HDFS目标路径已提前创建，若不存在可执行命令创建：
     hdfs dfs -mkdir -p HDFS目标目录路径
  2. 确认容器内执行Hadoop命令的用户，拥有对应本地文件的读取权限、HDFS目标路径的写入权限。

场景截图 #

内容的提问来源于stack exchange，提问作者Mary Nie