PySpark脚本执行hdfs copyFromLocal报错：文件不存在

核心原因 #

你遇到的问题本质是执行上下文的差异：

• 手动在Shell执行hdfs dfs -copyFromLocal时，命令运行在你操作的Driver节点，该节点上确实存在/data/Infiles/Sales.csv文件，所以执行成功。
• 但在PySpark脚本中，如果这段subprocess代码写在分布式算子（比如map、foreach）内部，命令会被分发到Spark的Executor节点执行——而Executor节点的本地文件系统和Driver节点相互独立，并没有这个路径的文件，因此报错"文件不存在"。

你的疑问解答 #

1. 是否因为Spark无法跨节点找到路径？
   是。Executor节点与Driver节点属于不同的计算节点，两者本地文件系统完全独立，Driver节点的本地文件不会自动同步到Executor节点。
2. 本地文件夹是否需要在所有Hadoop节点上存在？
   不需要，但如果坚持用subprocess调用HDFS命令的方式，你需要确保文件存在于执行该命令的节点上——但Spark的任务调度是分布式的，无法控制哪个Executor会执行这段代码，所以这种方式完全不可靠，不推荐使用。

推荐解决方案 #

方案1：用Spark原生API操作（最可靠） #

直接通过Spark的API读取本地文件并写入HDFS，彻底避免跨节点的本地文件依赖：

# 读取本地结构化文件
df = spark.read.csv(local_file, header=True, inferSchema=True)
# 写入HDFS路径，overwrite模式覆盖已有文件
df.write.mode("overwrite").csv(table_hdfs_location)

如果是纯文本文件，也可以用Spark Context的API处理：

text_rdd = sc.textFile(local_file)
text_rdd.saveAsTextFile(table_hdfs_location)

方案2：在Driver节点执行HDFS命令 #

如果必须使用hdfs命令，确保这段subprocess代码运行在Driver节点的主逻辑中（不要放在分布式算子里），同时可以指定hdfs命令的绝对路径避免环境变量缺失问题：

# 替换为你的集群中hdfs命令的实际绝对路径，比如/usr/bin/hdfs
process = subprocess.Popen(["/usr/bin/hdfs", "dfs", "-copyFromLocal", "-f", local_file, table_hdfs_location], 
                          stdout=subprocess.PIPE, stderr=subprocess.PIPE)
return_code = process.wait()

if return_code == 0:
    print("File copy successful")
else:
    print(f"File copy failed. Return code: {return_code}")
    error_output = process.stderr.read().decode('utf-8')
    if error_output:
        print("Error message:")
        print(error_output)

方案3：提前将文件上传到HDFS #

在提交PySpark脚本前，先手动执行hdfs dfs -copyFromLocal将本地文件传到HDFS，然后脚本直接读取HDFS上的文件路径，这是生产环境中常用的方式，彻底规避本地文件依赖问题。

内容的提问来源于stack exchange，提问作者VamsiKumar_gudala