Amazon Managed Airflow 2.2.2通过CLI运行任务失败并报DeprecationWarning
背景信息
我们正在将系统从Amazon Managed Airflow 2.0.2升级到2.2.2。目前遇到一种情况:可以在UI中运行DAG,但通过API调用运行时会触发以下警告:
/usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。
我正在排查该问题的原因,同时寻求下一步的调试方向。
UI中DAG运行情况
示例中的DAG运行失败,但这不是当前关注重点,目前核心问题是无法通过CLI启动DAG。
(原截图显示DAG运行失败状态)
MWAA CLI调用示例
% curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" -sS --header "Authorization: Bearer $CLI_TOKEN" --header "Content-Type: text/plain" --data-raw "$OPERATION" {"stderr":"L3Vzci9sb2NhbC9haXJmbG93Ly5sb2NhbC9saWIvcHl0aG9uMy43L3NpdGUtcGFja2FnZXMvYWlyZmxvdy9jb25maWd1cmF0aW9uLnB5OjM1NyBEZXByZWNhdGlvbldhcm5pbmc6IFRoZSBkZWZhdWx0X3F1ZXVlIG9wdGlvbiBpbiBbY2VsZXJ5XSBoYXMgYmVlbiBtb3ZlZCB0byB0aGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW29wZXJhdG9yc10gLSB0aGUgb2xkIHNldHRpbmcgaGFzIGJlZW4gdXNlZCwgYnV0IHBsZWFzZSB1cGRhdGUgeW91ciBjb25maWcuCi91c3IvbG9jYWwvYWlyZmxvdy8ubG9jYWwvbGliL3B5dGhvbjMuNy9zaXRlLXBhY2thZ2VzL2FpcmZsb3cvY29uZmlndXJhdGlvbi5weTozNTcgRGVwcmVjYXRpb25XYXJuaW5nOiBUaGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW2NlbGVyeV0gaGFzIGJlZW4gbW92ZWQgdG8gdGhlIGRlZmF1bHRfcXVldWUgb3B0aW9uIGluIFtvcGVyYXRvcnNdIC0gdGhlIG9sZCBzZXR0aW5nIGhhcyBiZWVuIHVzZWQsIGJ1dCBwbGVhc2UgdXBkYXRlIHlvdXIgY29uZmlnLgo=","stdout":"ZW52X2Rldl9tYWluCg=="} % echo "L3Vzci9sb2NhbC9haXJmbG93Ly5sb2NhbC9saWIvcHl0aG9uMy43L3NpdGUtcGFja2FnZXMvYWlyZmxvdy9jb25maWd1cmF0aW9uLnB5OjM1NyBEZXByZWNhdGlvbldhcm5pbmc6IFRoZSBkZWZhdWx0X3F1ZXVlIG9wdGlvbiBpbiBbY2VsZXJ5XSBoYXMgYmVlbiBtb3ZlZCB0byB0aGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW29wZXJhdG9yc10gLSB0aGUgb2xkIHNldHRpbmcgaGFzIGJlZW4gdXNlZCwgYnV0IHBsZWFzZSB1cGRhdGUgeW91ciBjb25maWcuCi91c3IvbG9jYWwvYWlyZmxvdy8ubG9jYWwvbGliL3B5dGhvbjMuNy9zaXRlLXBhY2thZ2VzL2FpcmZsb3cvY29uZmlndXJhdGlvbi5weTozNTcgRGVwcmVjYXRpb25XYXJuaW5nOiBUaGUgZGVmYXVsdF9xdWV1ZSBvcHRpb24gaW4gW2NlbGVyeV0gaGFzIGJlZW4gbW92ZWQgdG8gdGhlIGRlZmF1bHRfcXVldWUgb3B0aW9uIGluIFtvcGVyYXRvcnNdIC0gdGhlIG9sZCBzZXR0aW5nIGhhcyBiZWVuIHVzZWQsIGJ1dCBwbGVhc2UgdXBkYXRlIHlvdXIgY29uZmlnLgo=" | base64 --decode /usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。 /usr/local/airflow/.local/lib/python3.7/site-packages/airflow/configuration.py:357 弃用警告:[celery]中的default_queue选项已迁移到[operators]中的default_queue选项 - 已使用旧设置,请更新你的配置。
调试方向
- 修复配置弃用问题:将MWAA环境配置中
[celery]节点下的default_queue参数迁移至[operators]节点,更新后重启环境,验证警告是否消除。 - 校验CLI命令参数:确认
$OPERATION变量对应的命令格式正确(例如dags trigger <你的DAG ID>),符合MWAA CLI的语法要求。 - 排查日志差异:对比UI启动和CLI启动时的MWAA日志(调度器日志、任务执行日志),查找CLI调用时是否存在未暴露的错误或权限限制。
- 验证IAM权限:检查
$CLI_TOKEN关联的IAM角色是否拥有airflow:RunCliCommand权限,且无额外的资源访问限制。
内容的提问来源于stack exchange,提问作者AlexLordThorsen
相关产品推荐
相关产品推荐

