如何让Google Data Flow用静态IP定时迁移BigQuery数据到MongoDB

核心思路是让Data Flow作业的所有公网出站流量固定使用一组静态IP，只需把这些IP提前加入MongoDB白名单，就能避免每次任务执行因IP变更失败。下面是两种可行的实现方案：

方案一：使用Cloud NAT搭配静态IP池（最常用） #

通过Cloud NAT让Data Flow的VM实例共享固定静态IP访问公网：

• 创建静态外部IP池：在Google Cloud控制台的「VPC网络」→「外部IP地址」中，创建1-3个静态IP，记录下这些IP地址。
• 配置Cloud NAT网关：在Data Flow作业所在的VPC下创建NAT网关，关联刚才创建的静态IP池，设置出站规则允许Data Flow子网的流量通过该NAT。
• 修改Data Flow作业配置：创建或更新定时任务时，指定作业使用该VPC的子网，同时开启「使用专用IP」选项（禁止VM直接分配公网IP），确保所有出站流量走Cloud NAT。
• 把NAT的静态IP加入MongoDB白名单：将之前创建的静态IP添加到MongoDB的IP白名单中，后续所有Data Flow任务的流量都会从这些固定IP发出。

方案二：将Data Flow与MongoDB部署到同一VPC（限MongoDB在GCP环境） #

如果你的MongoDB是部署在Google Cloud的VPC内（比如GCP上的MongoDB Atlas集群或自建实例），可以直接让两者处于同一网络：

• 配置Data Flow作业使用MongoDB所在的VPC子网，关闭公网IP分配。
• 在MongoDB的安全规则中允许该VPC子网的IP段访问，无需公网IP即可完成数据传输，彻底避开公网IP变动的问题。

额外注意事项 #

• 确保Data Flow作业的服务账号拥有访问VPC、NAT网关的必要权限（比如roles/compute.networkUser）。
• 使用Cloud NAT时，注意区域的静态IP配额，避免超出限制。

内容的提问来源于stack exchange，提问作者arun shankar