PySpark无法找到BigQuery数据源，写入数据时报错求解决

问题原因 #

• 配置项重复覆盖：Spark中同一个配置键多次调用.config()赋值时，仅最后一次配置生效。你先后两次设置spark.jars.packages、两次设置spark.jars，前面的BigQuery相关依赖配置全部被后面的配置覆盖，导致运行时加载不到BigQuery数据源的类。
• 依赖版本冲突：同时配置了Scala 2.11和Scala 2.12版本的BigQuery连接器，二者会发生冲突，且和你当前Spark环境的Scala版本可能不匹配。
• 依赖引入方式混乱：混合使用spark.jars.packages（自动从Maven拉取依赖）和spark.jars（手动指定本地/远端jar包）两种方式引入同类型依赖，容易出现依赖缺失或冲突。

可行解决方案 #

第一步：修正SparkSession配置 #

根据你使用的Spark环境对应的Scala版本选择对应依赖，所有同类型配置合并为单次赋值，示例如下（以Scala 2.12版本为例，如果你用的Spark是基于Scala 2.11构建的，把依赖名里的_2.12替换成_2.11即可）：

spark = SparkSession \
        .builder \
        .appName(appName) \
        .config(conf=spark_conf) \
        # 所有Maven依赖合并到同一个spark.jars.packages配置
        .config('spark.jars.packages', 
                'com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.22.0,com.google.cloud.bigdataoss:gcsio:1.5.4,org.postgresql:postgresql:42.2.23') \
        # 仅保留你确实需要手动指定的本地jar包，如果上面的Maven依赖已经覆盖所有需求，可以删掉这行
        # .config('spark.jars', '你实际需要的额外本地jar包路径,多个用逗号分隔') \
        .getOrCreate()

第二步：调整写入代码（可选优化） #

如果修改配置后还是报错，可以明确指定BigQuery数据源的全类名，避免自动识别失败：

df.write.format('com.google.cloud.spark.bigquery') \
        .mode(mode) \
        .option("credentialsFile", "creds.json") \
        .option('table', table) \
        .option("temporaryGcsBucket",bucket) \
        .save()

第三步：本地环境校验（Windows本地运行适用） #

如果你是在Windows本地运行Spark，需要确认你已经把相关依赖jar包放到了Spark安装目录的jars文件夹下，或者在spark-defaults.conf里统一配置了依赖路径，避免运行时加载不到。

内容的提问来源于stack exchange，提问作者user14597035