AWS Glue作业写入DataFrame至BigQuery时抛出空指针异常

API 探路者

2026-8-29

问题背景

基于AWS Glue开发数据同步作业，通过官方BigQuery连接器实现S3数据读取、写入BigQuery的逻辑，同套脚本处理其他业务表均运行正常，仅单张表写入持续失败。
该表首次全量加载可正常完成，首次加载完成后启用Glue作业书签拉取S3新增数据做增量同步，所有增量运行都会触发空指针异常。
已提前实现待处理数据校验逻辑：仅检测到新增待处理文件时才继续执行作业流程，无新增文件则正常终止。
作业日志显示待写入DataFrame可正常打印、count()计数可正常返回结果，所有前置逻辑运行无异常，仅执行DataFrame写入BigQuery的命令时作业失败。
已尝试对齐源端与目标端表的字段空值属性，将源DataFrame所有字段的nullable属性设置为和目标BQ表一致的True，故障仍未解决，无法定位空指针异常触发原因。

报错堆栈

Caused by: java.lang.NullPointerException at com.google.cloud.bigquery.connector.common.BigQueryClient.loadDataIntoTable(BigQueryClient.java:532) at com.google.cloud.spark.bigquery.BigQueryWriteHelper.loadDataToBigQuery(BigQueryWriteHelper.scala:87) at com.google.cloud.spark.bigquery.BigQueryWriteHelper.writeDataFrameToBigQuery(BigQueryWriteHelper.scala:66) ... 42 more

根因定位与修复方案

该空指针触发点位于BigQuery连接器内部的数据加载逻辑，结合全量运行正常、仅开启Glue书签后增量失败的特征，问题和Glue增量场景下的隐式schema变更、连接器元数据解析bug直接相关，和字段nullable属性无直接关联，按以下优先级排查修复：

写入前做显式列裁剪，剔除Glue自动追加的隐式列
Glue书签增量拉取数据时，会自动给DataFrame追加文件路径、书签偏移量等隐藏元数据列，这些列不在目标BQ表的schema中，部分低版本连接器解析到未匹配列时不会直接抛出schema不匹配错误，反而会在后续加载阶段触发空指针。写入前只保留和目标BQ表完全一致的业务字段即可排除该问题。

写入时显式指定目标表参数，关闭自动schema变更逻辑
不要依赖连接器自动识别目标表，写入时显式传入完整表ID，同时禁止连接器自动建表、自动加字段、自动修改字段属性，避免增量场景下连接器拉取BQ端元数据异常触发空指针，参考配置：

# Glue PySpark脚本参考
df.select(目标表业务字段列表) \
  .write.format("bigquery") \
  .option("table", "gcp_project_id.bq_dataset_name.target_table_name") \
  .option("createDisposition", "CREATE_NEVER") \
  .option("writeDisposition", "WRITE_APPEND") \
  .option("allowFieldAddition", "false") \
  .option("allowFieldRelaxation", "false") \
  .mode("append") \
  .save()

排查嵌套类型字段的空值问题
如果目标表存在RECORD类型的嵌套字段，当增量数据中某行的整个嵌套字段值全为null时，1.2.0以下版本的BigQuery连接器会在解析临时parquet文件schema时触发空指针。可提前将空的嵌套字段填充为空结构体，或把BigQuery连接器版本升级到1.2.0及以上修复该已知bug。
重置对应表的Glue作业书签
首次全量运行后如果书签记录的源端schema元数据损坏，后续所有增量拉取的DataFrame schema都会和连接器预期不匹配，触发内部空指针。在Glue控制台重置该作业对应当前表的书签状态，重新跑一次全量同步后再启用增量即可恢复。

内容的提问来源于stack exchange，提问作者user19195895