如何让私有Cloud Data Fusion实例的预览模式连接互联网？

我之前也碰到过一模一样的问题——私有Cloud Data Fusion实例的预览模式超时，但部署后流水线正常跑，核心原因是预览模式和运行时的网络环境不一样：

• 部署后的流水线是在你自己VPC的工作节点上运行的，这些节点如果配置了Cloud NAT或者其他出站互联网访问方式，就能正常拉取数据；
• 但预览模式的任务是在Cloud Data Fusion控制平面的临时容器里执行的，私有实例默认情况下控制平面没有出站互联网访问权限，所以才会超时。

下面是几个可行的解决方案，按优先级排序：

1. 为控制平面配置私有服务访问+Cloud NAT #

这是最通用的方案，能让整个实例的预览模式都获得互联网访问能力：

• 首先确保你的VPC已经配置了Cloud NAT网关，并且NAT的配置允许出站流量访问互联网（比如目标0.0.0.0/0）；
• 打开Cloud Data Fusion实例的设置页面，找到「网络配置」部分，启用私有服务访问，关联到你已经配置了NAT的VPC子网；
• 保存配置后，Cloud Data Fusion会重新配置控制平面的网络，让预览容器通过你的VPC子网和NAT网关访问互联网。

2. 配置针对性的防火墙规则 #

如果不想修改实例的整体网络配置，可以在VPC里添加防火墙规则，允许控制平面的流量出站：

• 先从Cloud Data Fusion实例详情里获取控制平面的IP范围（一般在「网络信息」里能找到）；
• 在VPC防火墙中添加一条出站规则，允许该IP范围访问互联网的目标端口（比如80、443，或者你数据源需要的特定端口）；
• 同时确保对应的入站规则没有限制控制平面的流量（不过预览主要是出站问题，入站一般影响不大）。

3. 使用自定义预览环境 #

如果只需要特定流水线的预览能访问互联网，可以创建自定义预览环境：

• 在Cloud Data Fusion控制台的「实例设置」→「预览环境」里，选择「自定义网络」；
• 选择你已经配置了NAT的VPC子网，设置好资源配额（比如CPU、内存）；
• 之后每次预览流水线时，选择这个自定义环境，预览任务就会在指定的子网里运行，利用NAT访问互联网。

验证方法 #

配置完成后，你可以快速验证：

• 创建一个简单的HTTP源流水线，指向一个公开的API（比如https://jsonplaceholder.typicode.com/todos/1）；
• 启动预览模式，如果能正常加载数据，说明网络配置生效了；
• 如果还是有问题，可以检查Cloud NAT的日志、VPC路由表，确认流量是否正确路由到互联网。

注意：确保Cloud Data Fusion的服务账号有足够的权限访问你的VPC、NAT网关等资源，必要时可以给服务账号添加roles/compute.networkUser角色。

内容的提问来源于stack exchange，提问作者Arthur