You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Amazon Managed Airflow 2.2.2通过CLI运行任务失败并报DeprecationWarning

背景信息

我们正在将系统从Amazon Managed Airflow 2.0.2升级到2.2.2。目前遇到一种情况:可以在UI中运行DAG,但通过API调用运行时会触发以下警告:

/usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。

我正在排查该问题的原因,同时寻求下一步的调试方向。

UI中DAG运行情况

示例中的DAG运行失败,但这不是当前关注重点,目前核心问题是无法通过CLI启动DAG。
(原截图显示DAG运行失败状态)

MWAA CLI调用示例
% curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" -sS --header "Authorization: Bearer $CLI_TOKEN" --header "Content-Type: text/plain" --data-raw "$OPERATION"
{"stderr":"L3Vzci9sb2NhbC9haXJmbG93Ly5sb2NhbC9saWIvcHl0aG9uMy43L3NpdGUtcGFja2FnZXMvYWlyZmxvdy9jb25maWd1cmF0aW9uLnB5OjM1NyBEZXByZWNhdGlvbldhcm5pbmc6IFRoZSBkZWZhdWx0X3F1ZXVlIG9wdGlvbiBpbiBbY2VsZXJ5XSBoYXMgYmVlbiBtb3ZlZCB0byB0aGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW29wZXJhdG9yc10gLSB0aGUgb2xkIHNldHRpbmcgaGFzIGJlZW4gdXNlZCwgYnV0IHBsZWFzZSB1cGRhdGUgeW91ciBjb25maWcuCi91c3IvbG9jYWwvYWlyZmxvdy8ubG9jYWwvbGliL3B5dGhvbjMuNy9zaXRlLXBhY2thZ2VzL2FpcmZsb3cvY29uZmlndXJhdGlvbi5weTozNTcgRGVwcmVjYXRpb25XYXJuaW5nOiBUaGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW2NlbGVyeV0gaGFzIGJlZW4gbW92ZWQgdG8gdGhlIGRlZmF1bHRfcXVldWUgb3B0aW9uIGluIFtvcGVyYXRvcnNdIC0gdGhlIG9sZCBzZXR0aW5nIGhhcyBiZWVuIHVzZWQsIGJ1dCBwbGVhc2UgdXBkYXRlIHlvdXIgY29uZmlnLgo=","stdout":"ZW52X2Rldl9tYWluCg=="}
% echo "L3Vzci9sb2NhbC9haXJmbG93Ly5sb2NhbC9saWIvcHl0aG9uMy43L3NpdGUtcGFja2FnZXMvYWlyZmxvdy9jb25maWd1cmF0aW9uLnB5OjM1NyBEZXByZWNhdGlvbldhcm5pbmc6IFRoZSBkZWZhdWx0X3F1ZXVlIG9wdGlvbiBpbiBbY2VsZXJ5XSBoYXMgYmVlbiBtb3ZlZCB0byB0aGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW29wZXJhdG9yc10gLSB0aGUgb2xkIHNldHRpbmcgaGFzIGJlZW4gdXNlZCwgYnV0IHBsZWFzZSB1cGRhdGUgeW91ciBjb25maWcuCi91c3IvbG9jYWwvYWlyZmxvdy8ubG9jYWwvbGliL3B5dGhvbjMuNy9zaXRlLXBhY2thZ2VzL2FpcmZsb3cvY29uZmlndXJhdGlvbi5weTozNTcgRGVwcmVjYXRpb25XYXJuaW5nOiBUaGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW2NlbGVyeV0gaGFzIGJlZW4gbW92ZWQgdG8gdGhlIGRlZmF1bHRfcXVldWUgb3B0aW9uIGluIFtvcGVyYXRvcnNdIC0gdGhlIG9sZCBzZXR0aW5nIGhhcyBiZWVuIHVzZWQsIGJ1dCBwbGVhc2UgdXBkYXRlIHlvdXIgY29uZmlnLgo=" | base64 --decode
/usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。
/usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。

调试方向

  • 修复配置弃用问题:将MWAA环境配置中[celery]节点下的default_queue参数迁移至[operators]节点,更新后重启环境,验证警告是否消除。
  • 校验CLI命令参数:确认$OPERATION变量对应的命令格式正确(例如dags trigger <你的DAG ID>),符合MWAA CLI的语法要求。
  • 排查日志差异:对比UI启动和CLI启动时的MWAA日志(调度器日志、任务执行日志),查找CLI调用时是否存在未暴露的错误或权限限制。
  • 验证IAM权限:检查$CLI_TOKEN关联的IAM角色是否拥有airflow:RunCliCommand权限,且无额外的资源访问限制。

内容的提问来源于stack exchange,提问作者AlexLordThorsen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.12 04:30:48