无法从GCP Dataproc的Jupyter Notebook连接BigQuery求助

核心原因 #

你遇到的java.lang.ClassNotFoundException: Failed to find data source: bigquery错误，本质是Spark无法定位到BigQuery连接器的数据源实现类，通常是依赖加载不完整、配置冲突或者格式名使用不当导致的。

分步解决方案 #

1. 避免依赖配置冲突 #

不要同时使用spark.jars和spark.jars.packages，两者会导致依赖加载冲突。推荐使用spark.jars.packages自动管理依赖，它会从Maven仓库拉取完整的连接器包及依赖：

spark = SparkSession.builder.master("yarn") \
    .appName('1.2. BigQuery Storage & Spark SQL - Python') \
    .config('spark.jars.packages','com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.24.2') \
    .getOrCreate()

如果坚持使用自定义GCS上的jar，必须确保你上传的是with-dependencies版本的jar（你的文件名看起来是对的，但要确认jar本身没有损坏），并且移除spark.jars.packages配置。

2. 使用正确的数据源格式名 #

bigquery是简化格式名，但需要额外配置Spark扩展和目录才能生效，反而增加复杂度。直接使用官方标准的com.google.cloud.spark.bigquery格式名即可，无需修改：

df = spark.read.format("com.google.cloud.spark.bigquery") \
                .option("materializationDataset", "ABC_HK_STG_TEMP_SIT") \
                .option("materializationExpirationTimeInMinutes", "1440") \
                .option("query", sql) \
                .load()

3. 适配Dataproc集群环境 #

Dataproc集群可以通过初始化动作或者创建集群时预装BigQuery连接器，这样在Notebook里无需手动配置依赖：

• 创建集群时添加--properties spark:spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.24.2参数
• 或者使用Dataproc的预安装连接器特性（针对特定Dataproc版本），此时SparkSession无需额外配置jars，直接使用格式名即可。

4. 版本兼容性检查 #

确认你的Spark版本和连接器版本匹配：

• spark-bigquery-with-dependencies_2.12:0.24.2对应Spark 3.x版本（Scala 2.12适配Spark 3+）
• 如果你的Dataproc集群用的是Spark 2.x，需要换成Scala 2.11版本的连接器，比如com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.24.2

5. 权限验证 #

确保Dataproc集群的服务账号拥有BigQuery数据读取权限以及GCS临时存储的读写权限（因为materialization需要临时存储）。

内容的提问来源于stack exchange，提问作者djgcp