Airflow执行spark-submit任务失败但容器内运行正常的原因咨询

问题描述 #

通过Airflow执行spark-submit任务时失败，报错为UNABLE_TO_INFER_SCHEMA（读取Parquet文件失败）；但使用docker exec进入Spark Worker容器后手动执行相同任务却完全正常。检查发现，Worker容器内该Parquet文件实际并不存在，且已在Airflow UI中配置Spark Master连接。

可能的原因及排查方向 #

1. 文件路径的上下文差异 #

Airflow任务执行的工作目录、环境变量与你手动进入容器后的上下文不一致：

• 若Airflow的SparkOperator使用了相对路径，而你手动执行时的工作目录恰好能解析到目标文件（比如共享卷在容器内的挂载点不同，或Airflow任务的working_dir参数配置错误），就会出现这种差异。
• 排查：将Airflow中Spark任务的文件路径改为绝对路径，确保该路径在所有Spark Worker容器内的挂载方式一致，且可被访问。

2. Spark任务的执行节点不匹配 #

你的Spark集群可能存在多个Worker节点，Airflow提交的任务被调度到了未挂载目标存储卷的节点，而你手动进入的是有挂载的节点：

• 比如部分Worker节点未挂载包含Parquet文件的共享卷或分布式存储，导致任务执行时找不到文件；而你进入的节点恰好完成了挂载，手动执行自然成功。
• 排查：通过Spark UI查看任务实际运行的Worker节点，检查该节点的存储挂载状态。

3. 任务执行的权限差异 #

Airflow运行Spark任务的用户与你手动执行时的用户权限不同：

• 例如Airflow使用的用户对目标文件路径无读取权限，导致Spark无法读取文件进而无法推断Schema；而你手动执行时使用的是root或有权限的用户，即使容器内看不到文件（权限导致的不可见），实际任务可能通过其他有权限的路径访问。
• 排查：检查Airflow SparkOperator的spark_submit_user参数，以及Spark Worker容器内该用户对目标路径的权限配置。

4. Spark提交参数的隐性差异 #

Airflow的SparkOperator可能自动添加了额外参数，或遗漏了手动执行时的关键配置：

• 比如Airflow提交时未指定--files/--jars分发依赖，或错误配置了spark.sql.sources.partitionColumnTypeInference.enabled等Schema推断相关参数，导致无法读取Parquet；而手动执行的命令包含了这些必要配置。
• 排查：对比Airflow任务的提交参数与手动执行的命令，确保所有参数（包括Spark配置、依赖项）完全一致。

5. 存储卷的挂载时机问题 #

Spark Worker容器启动时，目标存储卷可能还未完成挂载，但Airflow任务在容器启动后立即提交，导致文件暂时不可用；而你手动进入容器时，存储卷已经挂载完成：

• 排查：修改Spark Worker的启动脚本，确保存储卷挂载完成后再启动Spark Worker服务；或在Airflow任务中添加短暂延迟，等待存储就绪后再提交任务。

内容的提问来源于stack exchange，提问作者Olivier