Dataproc Spark写入BigQuery表报错，设置SaveMode.Append无效如何解决？

以下是所有可能的原因及对应处理方案：

• 原因1：未正确导入SaveMode类
  若没有提前导入SaveMode枚举类，直接写.mode(SaveMode.Append)会触发未定义类的报错，看起来和之前的SaveMode配置错误提示类似，容易被误判为Append配置未生效。
  解决方法：在代码开头添加导入语句：

  from pyspark.sql import SaveMode
  

  也可以直接用字符串形式配置模式，不需要额外导入：

  .mode("append")
  

• 原因2：temporaryGcsBucket参数配置错误
  你代码中的"temporaryGcsBucket","bucket/temp"写法不符合参数要求：该参数仅支持填写GCS桶的纯名称，不能携带子路径，填写子路径会触发底层IO错误，导致写入失败。
  解决方法：拆分桶名和临时路径配置：

  .option("temporaryGcsBucket","你的GCS桶名") \
  .option("temporaryGcsPath","temp") \
  

• 原因3：DataFrame Schema与目标BigQuery表Schema不匹配
  Spark BigQuery连接器在Append模式下默认会严格校验写入Schema和目标表Schema的一致性，包括字段顺序、字段类型、非空约束等，任意一项不匹配都会触发写入失败。
  解决方法：
  1. 先打印出df的Schema和目标表Schema做比对，调整df的字段顺序、字段类型和目标表完全对齐
  2. 如果确认需要新增字段，可添加配置开启自动加字段权限：

  .option("allowFieldAddition", "true")
  

• 原因4：权限配置缺失
  Dataproc运行时使用的服务账号缺少对应权限也会导致写入失败，需要确认服务账号已拥有以下权限：
  • 目标BigQuery数据集的bigquery.dataEditor角色权限
  • 临时GCS桶的storage.objectAdmin角色权限
• 原因5：Spark BigQuery连接器版本过旧
  旧版本的连接器存在较多已知的Append模式兼容性问题，尤其是针对分区表、聚类表的写入场景。
  解决方法：作业提交时指定使用最新版本的官方连接器即可。

正确写入示例代码 #

from pyspark.sql import SaveMode

df.write \
  .format("bigquery") \
  .option("temporaryGcsBucket","你的GCS桶名") \
  .option("temporaryGcsPath","temp") \
  .mode(SaveMode.Append) \
  .save("project.datasource.table1")

内容的提问来源于stack exchange，提问作者Nicolas Soria