Google Cloud Run部署PySpark Docker镜像初始化Spark实例报错如何解决

报错核心为Spark的地址校验逻辑和Cloud Run的网络环境不兼容：

• Google Cloud Run默认给运行实例分配原生IPv6地址，返回的地址格式为未加[]包裹的原始IPv6字符串
• 低于3.3.0版本的Spark在地址校验逻辑中要求IPv6地址必须用[]包裹，否则会触发断言失败，直接抛出NullPointerException导致初始化终止

方案一：修改Spark配置强制使用IPv4（首推，改造成本最低） #

1. 初始化SparkContext前添加以下配置项：

from pyspark import SparkConf, SparkContext

conf = SparkConf()
# 显式指定driver使用IPv4回环地址
conf.set("spark.driver.host", "127.0.0.1")
# 绑定所有IPv4地址
conf.set("spark.driver.bindAddress", "0.0.0.0")
# 禁用IPv6优先
conf.set("spark.network.preferIPv6Addresses", "false")
conf.setAppName("StreamTwitter")
sc = SparkContext(conf=conf)

2. 在Dockerfile中添加JVM全局参数，强制Java优先使用IPv4栈：

ENV JAVA_TOOL_OPTIONS="-Djava.net.preferIPv4Stack=true -Djava.net.preferIPv6Addresses=false"

方案二：升级Spark版本 #

升级项目依赖的Spark版本至3.3.0及以上，该版本已经修复了IPv6地址格式校验的bug，可直接兼容Cloud Run返回的未包裹[]的IPv6地址。

方案三：Cloud Run部署禁用IPv6 #

如果你的Cloud Run服务已经对接了VPC网络，部署时添加参数强制使用IPv4：

gcloud run deploy 你的服务名 \
  --image 你的镜像地址 \
  --vpc-egress all-traffic \
  --no-allow-ipv6

内容的提问来源于stack exchange，提问作者Omar Ibrahim