PySpark写入parquet文件到本地路径报错但S3路径正常的问题咨询

该报错是Spark写入Parquet到本地文件系统时，作业提交阶段合并临时文件找不到对应分片文件导致的。写S3正常是因为S3作为对象存储的权限、路径处理、并发逻辑和本地POSIX文件系统完全不同，具体可排查以下几点：

• 权限不匹配：Spark执行进程的所属用户没有目标路径/home/jovyan/work/BI/OSM/temp/的读、写、执行权限，导致临时分片写入后，合并阶段无法读取文件完成重命名操作。而S3的访问依赖AWS身份凭证，和本地文件系统权限无关，只要凭证权限符合要求就能正常写入。
• 路径拼接错误：代码中temp_path变量末尾没有携带路径分隔符/，导致最终拼接的输出路径异常，临时文件写入路径和合并阶段的目标路径不匹配。S3的SDK对路径分隔符的容错性更高，会自动处理缺失或重复的分隔符，因此不会触发报错。
• 本地并发写入冲突：如果你使用本地多线程模式（如local[*]）运行Spark，多个Task同时操作本地文件系统的_temporary临时目录时，容易出现文件重命名、删除的冲突，导致部分分片文件在合并前就被意外清理。S3的对象存储没有目录级锁，并发写入的冲突概率远低于本地文件系统。
• 临时目录被自动清理：你的运行环境可能存在定时清理临时目录的后台任务，在Spark还未完成所有分片写入、启动合并流程前，就将_temporary目录下的分片文件删除，导致合并阶段找不到文件。

• 优先校验路径拼接逻辑：Python环境下建议使用os.path.join(temp_path, 'db_type/node')拼接路径，避免手动拼接导致的分隔符缺失问题，打印完整输出路径确认格式无误后再执行写入逻辑。
• 检查本地路径权限：给目标目录授予足够权限测试，执行命令：chmod -R 777 /home/jovyan/work/BI/OSM/temp/
• 解决本地并发冲突：如果是本地运行测试，可以先将Spark的master设置为local[1]单线程模式验证，如果问题消失说明是并发冲突导致，可添加Spark配置spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2优化提交逻辑，降低本地文件系统的并发冲突概率。
• 排查临时目录清理规则：确认是否存在定时清理目标路径下临时文件的任务，关闭对应规则或者更换输出路径到非自动清理的目录。

内容的提问来源于stack exchange，提问作者XT_boost