如何在Cloud Composer中选择或更改Apache Airflow与Python版本?
更换Cloud Composer的Airflow和Python版本方法
刚好我经常处理Cloud Composer的版本配置问题,给你分两种场景说清楚怎么操作:
一、新建Cloud Composer环境时指定版本
如果是刚要创建新环境,直接在配置阶段就能选到你想要的版本组合:
- 控制台操作:进入创建环境的页面后,找到「环境配置」板块下的「版本」选项,下拉选你需要的Airflow版本(比如2.5.x系列),对应的Python版本会自动匹配可选的兼容版本(比如Airflow 2.5.x对应Python 3.8/3.9),直接确认即可。
- gcloud命令行操作:用下面的命令创建环境,替换参数为你的环境名、区域、目标版本:
gcloud composer environments create my-composer-env --location us-central1 --airflow-version=2.5.3 --python-version=3.9
二、现有Cloud Composer环境升级版本
如果是已经在运行的环境,注意不能单独升级Python版本,必须通过升级Airflow版本来同步切换兼容的Python版本:
- 控制台操作:进入你的Composer环境详情页,切换到「版本」标签页,点击「升级」按钮,选择目标Airflow版本,确认后系统会自动完成升级流程,包括切换到对应兼容的Python版本。
- gcloud命令行操作:执行下面的命令触发升级,同样不需要单独指定Python版本,系统会自动匹配:
gcloud composer environments update my-composer-env --location us-central1 --airflow-version=2.5.3
重要注意事项
- 版本兼容性:Cloud Composer中Airflow和Python版本是绑定的,比如Airflow 1.10.x仅支持Python 2.7,Airflow 2.x系列仅支持Python 3.7及以上,具体可选组合在配置/升级页面都会明确列出。
- 跨版本升级风险:比如从Airflow 1.x升级到2.x,部分旧DAG可能需要调整适配(比如API变更),建议先在测试环境验证,升级前备份好DAG和元数据,且选择业务低峰期操作,避免影响业务。
内容的提问来源于stack exchange,提问作者James
相关产品推荐
相关产品推荐

