为何默认Cloud Composer 2的parallelism参数设为0？

这不是配置错误，是Cloud Composer 2的刻意设计，和它的自动扩缩容机制直接相关：

• Cloud Composer 2基于Kubernetes实现了全动态的worker扩缩容（CeleryExecutor搭配K8s水平Pod自动扩缩器），把parallelism设为0是为了让Airflow本身放弃全局并行任务数的限制，转而由Composer的底层扩缩容系统根据实时任务负载动态调整worker数量和并行处理能力。
• 对比你熟悉的Composer 1：Composer 1的worker扩缩容多为手动或基于固定阈值，所以parallelism参数需要生效来管控全局并行数；但Composer 2的动态扩缩容逻辑更灵活，不需要Airflow层面的硬限制。
• 实际验证：即使配置里parallelism=0，你的任务依然能正常并行执行——当任务量增加时，系统会自动启动更多worker Pod来承接负载，不会出现无法并行的情况。
• 注意：如果手动将parallelism改为非0值，反而会强制给全局并行数设上限，抵消Composer 2自动扩缩容的优势，所以不建议修改这个默认配置。

内容的提问来源于stack exchange，提问作者BloodthirstyPlatypus