Airflow日志轮转支持咨询：如何自动删除7天以上日志？

一、Airflow日志轮转与自动清理的区别 #

• AIRFLOW__CORE__LOG_ROTATE: 'true' 控制的是单个任务日志文件的轮转（比如按文件大小/数量切割单一日志文件），并非按天数删除旧日志文件夹。
• AIRFLOW__CORE__MAX_LOG_AGE_IN_DAYS: '7' 是airflow logs clean命令的默认参数，本身不会自动触发清理操作，需要手动或定时执行该命令才会删除超过指定天数的日志。

二、解决方案 #

你不需要完全编写自定义脚本，以下两种方式均可实现需求：

方式1：在Airflow容器内定时执行内置清理命令 #

修改Docker Compose中scheduler服务的command，添加后台定时任务每天执行日志清理：

services:
  scheduler:
    # 保留原有其他配置
    command: >
      bash -c "
      # 每天执行一次日志清理（间隔86400秒）
      (while true; do airflow logs clean --days 7; sleep 86400; done) &
      # 启动scheduler主进程
      airflow scheduler
      "
    environment:
      # 保留原有环境变量，确保MAX_LOG_AGE_IN_DAYS已配置
      AIRFLOW__CORE__MAX_LOG_AGE_IN_DAYS: '7'

方式2：直接在主机上清理挂载的日志目录 #

由于日志目录已挂载到主机的${AIRFLOW_PROJ_DIR:-.}/logs，可在主机上添加cron定时任务：

1. 打开crontab编辑：crontab -e
2. 添加一行每天凌晨执行的清理命令：

0 0 * * * find /path/to/your/airflow/logs -type f -mtime +7 -delete

注意替换/path/to/your/airflow/logs为实际的主机日志路径，确保执行cron的用户对该目录有读写权限。

三、额外注意事项 #

• 适配Airflow版本：若使用Airflow 2.x之前的版本，清理命令可能为airflow clean而非airflow logs clean，请对应调整。
• 权限检查：无论在容器内还是主机执行清理，都要确保执行用户对日志目录有足够权限，避免删除失败。

内容的提问来源于stack exchange，提问作者Manisha Bayya