Spark Scala：JSON数组列无法持久化到BigQuery表

可能的原因及对应处理方式 #

1. 临时GCS桶配置缺失或权限不足 #

Spark BigQuery连接器依赖GCS临时桶中转数据，如果未指定或桶权限不足，可能导致数组类型字段在中转过程中丢失。

• 解决：确保写入时显式指定临时桶，且Spark服务账号拥有该桶的读写权限：

  df.write
    .format("bigquery")
    .option("table", "your-project.your-dataset.your-table")
    .option("temporaryGcsBucket", "valid-gcs-temp-bucket") // 必须配置
    .mode("overwrite")
    .save()
  

2. Schema自动推断偏差 #

尽管Spark DataFrame和BigQuery表的Schema看似匹配，但自动映射可能存在隐性问题。

• 解决：显式指定BigQuery表的Schema，强制对齐字段类型：

  val bqSchema = "STRUCT<id INT64, name STRING, skills ARRAY<STRING>>"
  df.write
    .format("bigquery")
    .option("table", "your-project.your-dataset.your-table")
    .option("schema", bqSchema)
    .option("temporaryGcsBucket", "valid-gcs-temp-bucket")
    .mode("overwrite")
    .save()
  

3. 连接器版本兼容性问题 #

spark-bigquery-dependencies_2.12-0.28.1版本相对老旧，可能存在Spark 3.4下数组类型的适配bug。

• 解决：升级到兼容Spark 3.4的最新稳定版本（如0.35.0），替换依赖包后重新测试。

4. 数据中的特殊情况 #

如果DataFrame中skills列存在全空值、空数组嵌套或特殊字符，可能导致写入时被忽略：

• 解决：先在Spark中验证数据有效性：

  // 检查非空数组的行数
  df.filter(size($"skills") > 0).count()
  // 查看数组元素的具体内容
  df.select($"skills").show(false)
  

  确认数据无异常后，尝试写入非空数据测试。

5. 写入模式或表结构冲突 #

若使用append模式，且目标表曾有不同的skills列类型（如STRING而非ARRAY），可能导致字段写入失败。

• 解决：使用overwrite模式覆盖表，或先删除原表重新创建后写入。

补充验证步骤 #

1. 查看Serverless Dataproc的Spark日志，搜索是否有关于skills列的转换警告或错误信息；
2. 尝试将DataFrame写入GCS Parquet文件，检查Parquet文件中是否保留了skills列，排除Spark端的数据丢失问题；
3. 手动向BigQuery表插入一条含数组的数据，确认表本身支持ARRAY类型的写入。

内容的提问来源于stack exchange，提问作者user3348838