Dataproc用户托管笔记本Spark-BigQuery连接器配置失败求助

核心问题定位 #

你的代码中存在一个无效配置项，直接导致BigQuery连接器依赖未正确加载：

.config("spark.jars")

SparkSession.builder.config()需要传入键值对，单独的"spark.jars"没有对应值，会打断配置链，使得spark.jars.packages的依赖配置失效，最终触发ClassNotFoundException。

修正后的代码 #

spark = SparkSession.builder.appName("test") \
    .config("spark.jars.packages", "com.google.cloud.spark:spark-3.3-bigquery:0.30.0") \
    .config('spark.executor.memory', '8g') \
    .getOrCreate()

# 注意：原代码中df_subset未定义，这里替换为已创建的df
df = spark.createDataFrame([{"a": 1}])
df.write.format("bigquery") \
    .option("writeMethod", "indirect") \
    .mode("overwrite") \
    .save(output)

Dataproc环境额外配置要点 #

• 版本匹配：确保Dataproc集群的Spark版本为3.3.x，与连接器版本spark-3.3-bigquery:0.30.0对应，版本不兼容会导致依赖加载失败。
• 预安装依赖：若通过spark.jars.packages拉取依赖较慢或失败，可在创建Dataproc集群时预先指定连接器：

  gcloud dataproc clusters create [CLUSTER_NAME] \
      --properties spark:spark.jars.packages=com.google.cloud.spark:spark-3.3-bigquery:0.30.0
  

• 权限检查：运行笔记本的服务账号需具备：
  • BigQuery数据写入权限（如roles/bigquery.dataEditor）
  • GCS临时存储权限（间接写入法需要，如roles/storage.objectAdmin）

内容的提问来源于stack exchange，提问作者Steve Ahlswede