Airflow日志管理最佳实践咨询：本地日志堆积与调度器日志处理

一、核心问题拆解 #

• 远程日志（如S3）仅覆盖Task日志，Scheduler、Webserver等核心进程的日志默认仅存储在本地，且这类日志是空间占用大户
• 本地Task日志上传至远程存储后，Airflow默认不会自动清理本地文件
• 分布式部署场景下，通用维护DAG（如airflow-maintenance-dags）仅能清理Worker节点的Task日志，无法触及Scheduler等组件的本地日志目录

二、针对性解决方案 #

1. 核心进程日志（Scheduler/Webserver）处理 #

方案一：使用logrotate（业内通用轻量化方案）

无需修改Airflow代码或新增组件，直接通过系统日志轮转工具管控本地日志：

• 为每个Airflow进程创建logrotate配置文件，例如/etc/logrotate.d/airflow-scheduler：

/var/log/airflow/scheduler/*.log {
    daily
    missingok
    rotate 7
    compress
    delaycompress
    copytruncate
    notifempty
}

• 配置说明：每日轮转日志、保留7天历史日志、压缩旧日志、截断原文件不影响进程持续写入，适配无共享存储的分布式部署场景。

方案二：进程日志远程持久化（官方推荐进阶方案）

通过修改airflow.cfg的[logging]配置，为核心进程添加远程日志处理器，实现本地+远程双写：

• 示例配置片段：

[logging]
logger_scheduler = INFO, scheduler_handler, s3_scheduler_handler
logger_webserver = INFO, webserver_handler, s3_webserver_handler

handler_s3_scheduler_handler = airflow.utils.log.S3Handler
handler_s3_scheduler_handler_args = {"bucket_name": "your-airflow-logs", "prefix": "scheduler/"}

handler_s3_webserver_handler = airflow.utils.log.S3Handler
handler_s3_webserver_handler_args = {"bucket_name": "your-airflow-logs", "prefix": "webserver/"}

• 注意：需确保Airflow进程拥有远程存储的读写权限，配合logrotate清理本地旧日志，实现日志的持久化与本地空间释放。

2. 本地Task日志未自动删除的处理 #

方案一：自定义FileTaskHandler

继承官方S3TaskHandler，重写post_write方法，在日志上传后自动删除本地文件：

import os
from airflow.utils.log.s3_task_handler import S3TaskHandler

class CustomS3TaskHandler(S3TaskHandler):
    def post_write(self, filename, **kwargs):
        super().post_write(filename, **kwargs)
        # 上传完成后删除本地日志文件
        if os.path.exists(filename):
            os.remove(filename)

然后在airflow.cfg中指定自定义处理器：

task_log_reader = custom_s3_task_handler
handler_custom_s3_task_handler = your.module.path.CustomS3TaskHandler
handler_custom_s3_task_handler_args = {"bucket_name": "your-airflow-logs"}

方案二：优化维护DAG执行范围

无需新增Worker，将维护DAG的任务定向到Scheduler所在节点执行，清理目标节点的日志目录：

from airflow.operators.bash import BashOperator

clean_scheduler_logs = BashOperator(
    task_id='clean_scheduler_logs',
    bash_command='find /var/log/airflow/scheduler -type f -mtime +7 -delete',
    queue='scheduler-special-queue',  # 指定Scheduler节点绑定的队列
    dag=maintenance_dag
)

三、官方推荐的Airflow日志管理最佳实践 #

• 分层存储策略：Task日志用远程存储（S3/GCS）持久化，核心进程日志采用「本地轮转+远程备份」模式，平衡存储成本与日志可访问性
• 远程存储生命周期管理：为远程存储配置自动过期/归档规则（如S3的生命周期策略），自动清理超过保留期的日志
• 日志级别优化：根据业务需求调整核心进程的日志级别（如将Scheduler从INFO改为WARNING），减少冗余日志输出
• 磁盘监控告警：添加日志目录磁盘使用率监控，设置阈值告警，提前介入处理空间不足问题
• 权限隔离：限制Airflow进程对日志目录的读写权限，避免意外篡改或删除日志

内容的提问来源于stack exchange，提问作者Gayle