使用AWS Glue Job访问SOAP API是否需要配置VPC？

核心结论 #

是否需要配置VPC，取决于你的SOAP API访问限制和安全需求，不是强制要求：

无需配置VPC的场景 #

如果你的SOAP API是公网可访问的，直接使用Glue默认的运行环境即可：

• Glue默认Job运行在AWS管理的公共网络环境中，自带公网访问能力
• 只要SOAP API没有IP白名单限制，或者允许AWS公网IP段访问，就能直接发送请求获取XML响应

需要配置VPC的场景 #

出现以下情况时，必须配置VPC：

• SOAP API仅允许私有网络IP访问（比如API部署在你自己的VPC内，或有IP白名单仅开放特定VPC的私有IP）
• 公司安全政策要求所有对外流量必须经过VPC内的NAT网关/防火墙（需做流量审计、过滤）
• SOAP API的域名是私有DNS，仅能在特定VPC内解析

VPC配置实操要点 #

如果需要配置VPC，按以下步骤操作：

1. Glue Job网络参数配置：
   在Glue控制台创建/编辑Job时，找到「Network」板块，选择：
   • 目标VPC
   • 至少2个可用区的私有子网（保证高可用）
   • 对应安全组
2. 安全组规则设置：
   给选中的安全组添加出站规则，允许访问SOAP API的端口（通常是HTTPS 443或HTTP 80，若API用自定义端口则开放对应端口）
3. 子网与NAT网关配置：
   • 若使用私有子网：必须在VPC中配置NAT网关，并确保子网路由表指向NAT网关，让Glue Job能通过NAT访问公网
   • 若使用公有子网：需开启子网的「自动分配公有IP」功能，让Glue的弹性网络接口（ENI）获取公网IP
4. 服务角色权限补充：
   给Glue Job使用的服务角色添加VPC相关权限，比如：
   • ec2:CreateNetworkInterface
   • ec2:DescribeNetworkInterfaces
   • ec2:DeleteNetworkInterface
     可以直接使用AWS托管的AWSGlueServiceRole策略，或自定义包含上述权限的策略

测试建议 #

先写一段极简的Glue脚本测试连接：

import sys
from awsglue.utils import getResolvedOptions
import requests

# SOAP请求示例
soap_request = """
<soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:web="http://example.com/">
   <soapenv:Header/>
   <soapenv:Body>
      <web:GetDataRequest>
         <web:Param>test</web:Param>
      </web:GetDataRequest>
   </soapenv:Body>
</soapenv:Envelope>
"""

response = requests.post("https://your-soap-api-endpoint.com", data=soap_request, headers={"Content-Type": "text/xml"})
print(response.status_code)
print(response.text)

如果能正常拿到响应，说明无需VPC；如果出现连接超时/拒绝，再排查是否需要VPC配置。

内容的提问来源于stack exchange，提问作者marie20