GCP Dataflow Flex模板执行因代理连接超时失败如何解决？

1. 运行时代理环境变量未透传：Dockerfile中定义的代理、CA证书路径等环境变量仅在镜像构建阶段和本地手动启动容器时默认生效，Dataflow启动Flex模板的launcher容器和工作节点容器时，会重置运行时环境变量，未显式透传的配置会丢失，导致pip执行时读不到代理规则。
2. pip配置作用域不足：如果Dockerfile中把pip的代理、证书配置放到了当前构建用户的家目录下（如~/.pip/pip.conf），Dataflow运行时启动进程使用的是专属系统用户，无法读取用户级的pip配置，导致配置不生效。
3. VPC网络链路不通：Dataflow作业运行所在的GCP VPC如果没有打通到公司内部代理的网络通路，包括未放行对应端口的出向防火墙规则、未配置VPC和内网的 peering/专线连接，也会导致代理访问超时。

• 显式透传运行时环境变量
  提交Flex模板作业时通过environment参数把代理、证书等配置传递给所有运行容器，示例命令如下：

  gcloud dataflow flex-template run 你的作业名称 \
    --template-file-gcs-location gs://你的模板存储路径 \
    --region 你的GCP区域 \
    --environment workerEnvironmentVariables="HTTP_PROXY=http://proxy-web.{company_name}.com:代理端口","HTTPS_PROXY=http://proxy-web.{company_name}.com:代理端口","NO_PROXY=169.254.169.254,metadata.google.internal,.googleapis.com","PIP_CERT=/你的CA证书存储路径"
  

  注意必须把GCP元数据服务、谷歌服务域名加入NO_PROXY，避免Dataflow自身服务调用失败。
• 关闭运行时自动下载依赖逻辑
  在Dockerfile构建阶段就完成所有依赖的安装，提交作业时增加参数--additional-user-labels=disable_requirements_download=true，直接跳过Dataflow默认执行的pip download步骤，从根源避免运行时依赖拉取的问题。
• 全局配置pip规则
  Dockerfile中把pip配置文件存放到系统级路径/etc/pip.conf，确保所有用户都能读取配置，同时把公司CA证书放到/usr/local/share/ca-certificates/目录下，执行update-ca-certificates命令更新系统证书库，避免证书校验失败。
• 检查VPC网络配置
  确认Dataflow作业所属VPC的出向防火墙规则允许访问代理的IP和端口，代理在内网的情况下需要配置VPC和公司内网的连通链路，代理走公网的情况下需要给VPC配置Cloud NAT出口。

内容的提问来源于stack exchange，提问作者aaron02