GCP Dataproc Serverless Spark连接Snowflake超时问题求助

核心原因 #

Dataproc Serverless批处理任务的网络环境和常规Dataproc集群存在本质差异：

• 常规Dataproc集群直接使用您自定义VPC的网络规则，只要VPC防火墙允许出站访问Snowflake的443端口，就能正常建立连接。
• Dataproc Serverless默认运行在Google管理的VPC中，该网络默认限制外部公网访问，未做显式配置时无法连接Snowflake这类外部服务。

解决办法 #

1. 绑定自定义VPC运行任务 #

提交任务时指定您的自定义VPC和子网，让Serverless任务沿用和常规集群一致的网络规则：

gcloud dataproc batches submit spark \
    --project=你的项目ID \
    --region=你的区域 \
    --batch=任务名称 \
    --vpc=你的VPC名称 \
    --subnet=你的子网名称 \
    --jars=gs://你的Jar包存储路径 \
    --class=主类全路径 \
    -- 应用参数

2. 配置VPC出站防火墙规则 #

检查并更新您的VPC防火墙规则，确保允许出站访问Snowflake的443端口：

• 规则方向设为出站，协议选择tcp，端口指定443。
• 目标范围可以设置为Snowflake节点的公网IP（通过nslookup XXX.snowflakecomputing.com获取），或根据安全策略允许所有出站443流量。
• 确保规则的目标标签或子网范围包含Serverless任务绑定的子网。

3. 配置Serverless出站访问控制（可选） #

如果不想绑定自定义VPC，可通过以下方式开放外部访问：

• 测试环境可添加--allow-all-external-ips参数，允许任务访问所有外部公网。
• 生产环境推荐使用VPC访问连接器，通过连接器精细化控制外部服务访问权限。

验证步骤 #

提交任务时添加--enable-debug-agent参数，查看任务网络日志确认是否为防火墙拦截；也可在任务代码中加入简单网络测试（如执行telnet XXX.snowflakecomputing.com 443），进一步定位问题。

内容的提问来源于stack exchange，提问作者Miłosz Szymczak