Airflow中使用PapermillOperator时，如何让Notebook的打印内容实时显示在Airflow日志中？

阿华AIGC实验室

2026-4-20

我明白你遇到的这个痛点——用Airflow的PapermillOperator跑Notebook时，实时日志里看不到Notebook的打印内容，没法监控执行状态确实挺闹心的。你试过的IPython交互式设置其实对实时日志输出帮助不大，我给你几个实用的解决思路：

重定向Python标准输出到Airflow日志流
Papermill运行Notebook时，默认的print输出并没有关联到Airflow的日志处理流程，所以无法实时显示。你可以在Notebook的开头添加这段代码，把标准输出直接定向到Airflow的日志流中：
```
import sys
import logging

# 获取Airflow任务对应的日志器
airflow_logger = logging.getLogger('airflow.task')
# 将stdout重定向到Airflow日志的输出流
sys.stdout = airflow_logger.handlers[0].stream
```
这样后续的print内容就会实时出现在Airflow的日志面板里了。
启用PapermillOperator的日志捕获参数
检查你的Airflow和Papermill版本，如果版本支持的话，可以直接在PapermillOperator中设置log_output=True参数，让Papermill主动把Notebook的执行输出同步到Airflow日志中：
```
from airflow.providers.papermill.operators.papermill import PapermillOperator

run_notebook_task = PapermillOperator(
    task_id='execute_notebook',
    input_nb='/your/path/input_notebook.ipynb',
    output_nb='/your/path/output_notebook.ipynb',
    parameters={'env': 'production'},
    log_output=True  # 开启该参数捕获Notebook输出
)
```
这个方案最简洁，不过要注意部分旧版本可能没有这个参数，需要先确认版本兼容性。
直接使用Airflow日志模块输出内容
放弃原生的print，改用Airflow的日志器来输出监控信息，这样内容会直接进入Airflow的日志管道，实时性和可靠性都更有保障，还能区分日志级别：
```
import logging

# 获取Airflow任务日志器
logger = logging.getLogger('airflow.task')
logger.info("当前执行到数据预处理步骤")
logger.warning("注意：数据量超出预期阈值")
logger.error("数据读取失败，请检查数据源")
```
这种方式不仅能实时显示日志，还方便后续根据日志级别筛选信息，排查问题更高效。