ls与hdfs dfs -ls差异及minikube环境HDFS读CSV报错咨询

• 直接在根路径执行的ls是Linux原生的本地文件系统操作命令，作用范围是hdfs-namenode-0节点（Pod）自身的本地磁盘，返回的是当前容器本地根目录下的系统目录、文件，和HDFS分布式存储没有任何关系。
• hdfs dfs -ls /是HDFS提供的分布式文件系统操作命令，作用范围是整个HDFS集群的存储层，返回的是HDFS集群根路径下存储的目录、文件，不会读取节点本地磁盘的内容。

报错核心原因是混淆了节点本地文件系统路径和HDFS分布式存储路径，对应排查方向如下：

• 先确认文件实际存储位置：执行ls /tmp查看节点本地tmp目录是否存在目标CSV，执行hdfs dfs -ls /tmp查看HDFS的tmp路径下是否存在目标CSV，两个路径是完全独立的存储空间，文件不会自动同步。
• 如果文件存在HDFS的/tmp路径下，直接用本地文件读取接口（比如Python原生open、Linux cat命令、未配置HDFS默认路径的计算任务）读/tmp/xxx.csv时，程序只会查找节点本地磁盘的对应路径，必然触发文件不存在报错。
• 对应解决方法：
  1. 读取HDFS上的文件时，优先写全路径协议，格式为hdfs://<namenode服务地址>:<rpc端口>/tmp/目标文件.csv，避免程序默认走本地文件系统
  2. 如果用Spark、MapReduce等计算框架读取，提前在配置中指定fs.defaultFS参数为HDFS的namenode地址，让框架默认读取HDFS路径
  3. minikube部署环境注意确认HDFS的端口转发、服务配置正常，避免客户端连接到错误的HDFS实例，同时注意Pod本地存储是临时存储，Pod重启后本地/tmp下的文件会自动清除。

内容的提问来源于stack exchange，提问作者Monica