Cloud Composer DAG任务启动抛出日志文件未找到404错误如何解决

问题报错信息 #

每次DAG运行启动时部分任务抛出错误，无法找到对应日志文件获取运行日志，错误详情如下：

*** 404 GET https://storage.googleapis.com/download/storage/v1/b/europe-west1-ventis-brand-f-65ab79d1-bucket/o/logs%2Fimport_ebay_snapshot_feeds_ES%2Fstart%2F2021-11-30T08%3A00%3A00%2B00%3A00%2F3.log?alt=media: No such object: europe-west1-ventis-brand-f-65ab79d1-bucket/logs/import_ebay_snapshot_feeds_ES/start/2021-11-30T08:00:00+00:00/3.log: ('Request failed with status code', 404, 'Expected one of', <HTTPStatus.OK: 200>, <HTTPStatus.PARTIAL_CONTENT: 206>)

已确认Cloud Composer已升级到最新版本，运行环境为Python3，环境配置为小型规格，工作节点配置1vCPU/2G内存，支持1-4节点自动扩缩容。

修复步骤 #

1. 排查日志文件是否存在 #

直接访问报错路径对应的GCS存储桶目录，确认目标日志文件是否真实存在：

• 文件不存在：说明日志上传环节出现故障，执行下一步修复
• 文件存在：说明日志读取的路径匹配或请求时机存在问题，跳至第三步修复

2. 修复日志上传故障 #

• 核查Worker节点服务账号权限：确认Worker使用的默认服务账号拥有存储桶的storage.objects.create、storage.objects.list权限，无权限则补充对应角色
• 核查本地日志状态：登录GKE集群的Worker节点，查看/var/log/airflow/路径下是否有对应任务的本地日志：
  • 本地无日志：排查任务本身是否启动失败，查看Scheduler调度日志确认任务是否正常分发到Worker
  • 本地有日志未同步到GCS：检查Airflow核心配置，确认remote_logging参数设置为True，remote_base_log_folder参数配置的存储桶路径和报错中的路径完全一致，修改配置后重启所有Worker节点触发日志同步

3. 修复日志读取问题 #

• 增加日志读取延迟：在Airflow配置中新增log_fetch_delay_sec参数，设置为10，避免日志还未完成上传就发起读取请求
• 适配版本日志规则：Composer版本升级后可能存在日志命名规则变更，确认当前版本的日志时间戳格式、任务重试序号的命名规则是否和旧配置匹配，更新对应日志路径配置
• 重启Scheduler和Web服务器服务，使所有配置修改生效

4. 临时排查方案 #

如果需要紧急排查任务故障，可以直接读取GKE集群Pod运行日志，无需通过Airflow WebUI读取GCS日志，执行命令如下（替换尖括号内的对应参数）：

kubectl logs -n <composer环境对应的GKE命名空间> <任务运行的Worker Pod名称>

内容的提问来源于stack exchange，提问作者Julian