Apache Airflow 2.0下Papermill Operator指定tmp目录输出文件无法找到的技术求助

我来帮你一步步分析这个问题，咱们从最基础的排查开始：

1. 先确认任务是否成功执行 #

别着急找文件，先去Airflow UI里查看run_example_notebook任务的状态和日志：

• 如果任务是失败状态，Papermill大概率没生成输出文件，日志里搜papermill关键词，看有没有输入notebook不存在、参数渲染失败这类报错。
• 如果任务显示成功，再往下排查。

2. 验证模板变量是否正确渲染 #

你用了{{ execution_date }}模板变量，得确认它有没有被正确解析成实际日期：

• 去任务日志里找Papermill的执行命令，应该会显示类似papermill ... /tmp/out-2024-05-20T00:00:00+00:00.ipynb的行，把这个实际路径记下来，精准查找。
• 如果日志里还是显示原始的/tmp/out-{{ execution_date }}.ipynb，说明模板没被渲染。Airflow 2.x的PapermillOperator默认支持模板字段，但保险起见可以显式指定：

  run_this = PapermillOperator(
      task_id="run_example_notebook",
      input_nb=os.path.join(os.path.dirname(os.path.realpath(__file__)), "count_20.ipynb"),
      output_nb="/tmp/out-{{ execution_date }}.ipynb",
      parameters={"msgs": "Ran from Airflow at {{ execution_date }}!"},
      template_fields=('output_nb', 'parameters')  # 显式声明模板字段
  )
  

3. 重点：Airflow执行环境的目录差异（最常见原因） #

如果你的Airflow用了CeleryExecutor或KubernetesExecutor，任务是在worker节点/独立Pod里执行的，不是webserver所在机器：

• CeleryExecutor：登录到worker机器，去它的/tmp目录找日志里的实际文件名，别在webserver机器上找。
• KubernetesExecutor：任务Pod执行完会被销毁，除非挂载了持久化存储（比如NFS、S3），否则/tmp里的文件会跟着Pod消失。这种情况建议把输出路径改成共享存储目录，别用本地/tmp。
• 哪怕是SequentialExecutor，也要注意Airflow运行用户（比如airflow）的/tmp和你登录用户的/tmp可能不是同一个（部分系统会给每个用户分配独立tmp空间）。

4. 检查权限问题 #

Airflow的运行用户有没有/tmp目录的写权限？

• 日志里搜Permission denied关键词，要是有这类报错，要么给/tmp加写权限，要么换一个Airflow用户有权限的目录当输出路径。

5. 用非临时目录验证 #

临时目录可能被系统自动清理或有特殊限制，你可以先换个固定目录测试：

output_nb="/opt/airflow/outputs/out-{{ execution_date }}.ipynb"

先确保/opt/airflow/outputs目录存在且Airflow用户有写权限，执行任务后看能不能找到文件，排除tmp目录的问题。

额外调试技巧 #

加一个BashOperator查看/tmp目录内容，确认文件是否存在：

from airflow.operators.bash import BashOperator

list_tmp = BashOperator(
    task_id="check_tmp_files",
    bash_command="ls -la /tmp/ | grep out-"
)

run_this >> list_tmp

执行完看这个任务的日志，就能直接看到/tmp里有没有生成的输出文件。

内容的提问来源于stack exchange，提问作者Digital_eye1