Spark3.5/Dataproc2升级后BigQuery写入失败：Schema不匹配求助

针对你遇到的Schema不匹配报错，结合升级前后的环境差异，给出以下针对性解决方法：

1. 修复字段命名歧义 #

涉事Schema中存在名为array的STRUCT字段，这个名称容易被BigQuery解析器误判为数组类型（与报错信息中“array levels of 1”对应）。Spark 2.4旧版本的连接器对这种命名兼容性更好，而升级后的0.42.4版本解析更严格。

• 临时方案：在写入Parquet前，重命名该字段（比如改为user_struct），确保字段名不与类型关键字冲突：

  df.withColumn("USER_DETAILS", 
    struct(col("USER_DETAILS.bag").alias("bag"),
           col("USER_DETAILS.bag.array").alias("user_struct"))
  )
  

• 长期方案：同步修改BigQuery目标表的Schema，将array字段名替换为无歧义名称。

2. 显式指定BigQuery写入Schema #

跳过BigQuery自动从Parquet推断Schema的逻辑，手动指定目标表的完整Schema，强制BigQuery按照预期解析字段类型：

import com.google.cloud.spark.bigquery.SchemaConverters
import org.apache.spark.sql.types.StructType

// 定义目标Schema（与BigQuery表Schema一致）
val targetSchema = StructType.fromDDL("""
  USER_DETAILS STRUCT<
    bag ARRAY<STRUCT<
      `array` STRUCT<USER_KEY STRING, USER_NAME STRING, USER_URL STRING>
    >>
  >
""")

// 写入时指定Schema
df.write
  .format("bigquery")
  .option("table", "your-project.your-dataset.your-table")
  .option("temporaryGcsBucket", "your-gcs-bucket")
  .option("setTableSchema", SchemaConverters.convertStructToSchema(targetSchema).toString)
  .mode("append")
  .save()

3. 补充Spark Parquet兼容性参数 #

除了spark.sql.parquet.writeLegacyFormat=true，添加以下参数覆盖Spark 3.x对嵌套结构的序列化逻辑：

spark.sql.parquet.int96RebaseModeInWrite=LEGACY
spark.sql.parquet.datetimeRebaseModeInWrite=LEGACY
spark.sql.parquet.binaryAsString=true

这些参数可以在Dataproc集群初始化时设置，或者在作业提交时通过--conf传递。

4. 调整BigQuery连接器版本 #

当前使用的0.42.4版本可能存在嵌套Schema解析的兼容性问题，尝试：

• 升级到适配Spark 3.5的最新稳定版（如0.46.0）：spark-bigquery-with-dependencies_2.12-0.46.0.jar
• 或降级到0.40.0版本（该版本对Spark 3.x和嵌套结构的兼容性经过较多验证）

5. 验证中间Parquet文件的Schema #

用Spark读取临时GCS桶中的Parquet文件，打印Schema确认与BigQuery表Schema一致：

val parquetDf = spark.read.parquet("gs://your-temp-bucket/parquet-path")
parquetDf.printSchema()

如果发现Parquet中的array字段被解析为数组而非STRUCT，说明Spark 3.x的序列化逻辑仍有偏差，需结合上述参数或字段重命名方案修复。

内容的提问来源于stack exchange，提问作者Anshul Dubey