GCP Composer环境变量新值未生效问题求助

核心排查与解决步骤 #

• 重启Airflow Worker刷新缓存：Composer环境变量更新后，Worker可能还缓存着旧值。直接在Composer控制台的「环境详情」页，找到「工作负载」下的Worker节点点击重启；或者用命令行操作：gcloud composer environments restart-workers --location <你的区域> <环境名称>。
• 确认变量类型与作用范围：别混淆Composer环境变量和Airflow内置变量——如果是用Airflow Variables管理连接信息，得去Airflow UI的「Admin」->「Variables」里确认值是否更新；如果是Composer环境变量，要确保代码里是通过os.environ.get("<变量名>")来读取的。
• 清理旧任务队列：如果任务是在变量更新前就进入队列的，这类任务会沿用提交时的旧配置。直接取消旧的任务实例，重新触发新任务运行。
• 检查配置同步日志：控制台显示「环境正在运行」不代表所有组件都同步完成。去Composer的操作日志里，确认环境变量更新的操作是否成功同步到Worker、Scheduler等组件。
• 排查自定义配置缓存：如果用了自定义Pod模板或Worker镜像，检查是否在镜像里硬编码了连接信息，或者有缓存环境变量的配置，导致新值无法生效。

快速验证方法 #

1. 在Airflow UI里手动触发一个全新的任务实例，别复用旧队列，看是否加载新配置。
2. 在任务代码里加一行打印语句，输出读取到的连接字符串值，确认是否是更新后的新值。

内容的提问来源于stack exchange，提问作者Thái Lê