GCP DataProc Spark Scala作业发布PubSub时报错：未找到可用通道服务提供商

问题本质 #

该错误是因为gRPC通道实现类存在版本冲突或无法被正确加载：DataProc集群的Spark环境自带了部分gRPC、Netty依赖，和你手动添加的依赖版本不兼容，导致类加载时找不到有效的通道服务实现。

解决方案 #

1. 改用隔离版gRPC依赖 #

放弃grpc-netty/grpc-okhttp，替换为grpc-netty-shaded——它会将gRPC的Netty依赖打包在独立命名空间下，彻底避免与Spark自带的Netty冲突：

// 替换原有gRPC依赖
libraryDependencies ++= Seq(
  "com.google.cloud" % "google-cloud-pubsub" % "1.120.19",
  "io.grpc" % "grpc-netty-shaded" % "1.49.2"
)

2. 排除Spark自带的冲突依赖 #

在sbt中显式排除google-cloud-pubsub依赖中自带的gRPC、Netty组件，避免版本冲突：

libraryDependencies ++= Seq(
  "com.google.cloud" % "google-cloud-pubsub" % "1.120.19" excludeAll(
    ExclusionRule(organization = "io.grpc"),
    ExclusionRule(organization = "io.netty")
  ),
  "io.grpc" % "grpc-netty-shaded" % "1.49.2"
)

3. 强制用户依赖优先加载 #

提交Spark作业时，添加类加载配置，让你的依赖优先于Spark自带的依赖被加载：

gcloud dataproc jobs submit spark \
  --cluster=你的集群名称 \
  --class=你的主类路径 \
  --jars=你的Jar包路径 \
  --conf spark.driver.userClassPathFirst=true \
  --conf spark.executor.userClassPathFirst=true

4. 简化凭证初始化（推荐） #

DataProc集群默认会使用集群绑定的服务账号权限，无需手动加载密钥文件，直接用默认凭证即可：

// 替换原有手动加载密钥的代码
val googleCredentials = GoogleCredentials.getApplicationDefault.createScoped(
  List("https://www.googleapis.com/auth/pubsub").asJava
)

5. 验证依赖树 #

用sbt命令检查依赖树，确认没有冲突的gRPC/Netty版本：

sbt dependencyTree | grep -E "(grpc|netty)"

额外注意事项 #

• 确保所有gRPC相关依赖版本完全一致，不要混合不同版本
• 如果打包胖包（Uber Jar），要避免重复打包gRPC/Netty类，可通过sbt-assembly的合并策略处理

内容的提问来源于stack exchange，提问作者Arjun V