如何禁用ECS任务日志？解决Airflow调度器磁盘占满问题

方案1：调整ECS任务的日志驱动配置 #

通过配置ECS任务的日志驱动，要么限制本地日志存储量，要么将日志转存云端，避免占用本地磁盘：

• 使用json-file驱动限制本地日志大小：修改任务定义的logConfiguration，设置单日志文件最大容量和保留文件数，超过阈值后自动清理旧日志：

  "logConfiguration": {
    "logDriver": "json-file",
    "options": {
      "max-size": "10m",
      "max-file": "3"
    }
  }
  

• 转存日志到AWS CloudWatch：改用awslogs驱动，将日志直接上传到CloudWatch，本地仅临时存储少量日志：

  "logConfiguration": {
    "logDriver": "awslogs",
    "options": {
      "awslogs-group": "/ecs/airflow-scheduler",
      "awslogs-region": "你的ECS所在区域",
      "awslogs-stream-prefix": "ecs"
    }
  }
  

方案2：优化Airflow自身日志配置 #

从应用层面减少日志输出量，而非直接禁用：

• 修改Airflow的airflow.cfg配置文件：
  • 降低全局日志级别：将logging_level从默认的INFO改为WARN或ERROR，仅保留关键日志
  • 单独调整调度器日志级别：设置scheduler_logging_level = ERROR，削减调度器的日志输出量
  • 关闭特定组件日志：在LOGGING配置块中，将不需要的模块日志级别设为CRITICAL，或直接移除对应日志配置

方案3：启用日志轮转机制 #

在ECS任务中配置logrotate，定期自动清理旧日志：

1. 创建logrotate配置文件/etc/logrotate.d/airflow：

   /var/log/airflow/*.log {
     daily
     rotate 7
     compress
     missingok
     notifempty
     copytruncate
   }
   

2. 在任务启动脚本中添加定时任务，每30分钟执行一次日志轮转：

   echo "*/30 * * * * /usr/sbin/logrotate /etc/logrotate.d/airflow" >> /var/spool/cron/root
   

方案4：彻底禁用本地日志（不推荐） #

如果完全不需要保留任何日志（强烈不建议，故障排查会无据可依），可以将ECS任务的日志驱动设为none：

"logConfiguration": {
  "logDriver": "none"
}

注意：禁用日志会导致系统出现问题时无法追溯原因，优先推荐前三种方案，仅在极端场景下考虑禁用日志。

内容的提问来源于stack exchange，提问作者KristiLuna