Spark写入BigQuery遇空指针异常，寻求排查方案

问题背景 #

通过Dataproc运行Spark Java代码，使用Spark BigQuery连接器将DataFrame写入BigQuery时出现NullPointerException，错误栈如下：

Error: Exception in thread "main" java.lang.RuntimeException: Failed to write to BigQuery
    at com.google.cloud.spark.bigquery.BigQueryWriteHelper.writeDataFrameToBigQuery(BigQueryWriteHelper.scala:69)
    ...（省略中间堆栈）
Caused by: java.lang.NullPointerException
    at com.google.cloud.bigquery.connector.common.BigQueryClient.loadDataIntoTable(BigQueryClient.java:532)
    ... 38 more
ERROR: (gcloud.dataproc.jobs.submit.spark) Job [248b593282b6403f9cbfb8c85710bd7a] failed with error:

写入代码：

filteredInput.write().format("bigquery")
                .option("temporaryGcsBucket", "temp_bucket")
                .mode(SaveMode.Append)
                .save("tables.table_1");

DataFrame表结构：

|-- comm_id: string (nullable = false)
 |-- src_sys_name: string (nullable = false)
 |-- send_time_utc: timestamp (nullable = false)
 |-- participant: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- participant_type: string (nullable = false)
 |    |    |-- participant_email: string (nullable = false)
 |-- priority: string (nullable = true)
 |-- insertion_date: timestamp (nullable = false)
 |-- run_date: timestamp (nullable = false)

使用的Maven依赖：

<dependency>
    <groupId>com.google.cloud.spark</groupId>
    <artifactId>spark-bigquery-with-dependencies_2.12</artifactId>
    <version>0.24.2</version>
</dependency>

排查建议 #

• 获取完整堆栈信息：
  日志中的... 38 more是截断导致的，完整堆栈能定位具体NPE触发点。在Google Cloud Console的Dataproc Jobs页面，点击对应Job ID，查看Driver日志或YARN容器日志，即可看到未截断的完整错误栈。

• 验证临时GCS Bucket的有效性：
  确认temp_bucket已存在，且Dataproc集群的服务账号拥有该Bucket的读写权限（如roles/storage.objectAdmin）。连接器需要先将数据写入临时GCS再导入BigQuery，Bucket不存在或权限不足可能引发NPE。

• 检查DataFrame数据与表结构的兼容性：
  虽然表结构中participant数组允许为null，但数组内的结构体字段participant_type和participant_email被标记为不可为null。若DataFrame中存在数组元素为null，或结构体字段为null的情况，可能导致连接器处理时抛出NPE。可先过滤异常数据：

  import org.apache.spark.sql.functions;
  
  filteredInput = filteredInput.filter(functions.col("participant").isNotNull())
      .filter(functions.expr("forall(participant, p -> p.participant_type is not null and p.participant_email is not null)"));
  

• 升级Spark BigQuery连接器版本：
  0.24.2是较旧的版本，存在已知的复杂类型（数组+结构体）处理bug。建议升级到稳定的新版本（如0.30.0），修改Maven依赖：

  <dependency>
      <groupId>com.google.cloud.spark</groupId>
      <artifactId>spark-bigquery-with-dependencies_2.12</artifactId>
      <version>0.30.0</version>
  </dependency>
  

• 验证BigQuery表权限与存在性：
  确认目标表tables.table_1已存在，且Dataproc集群的服务账号拥有BigQuery的roles/bigquery.dataEditor权限，确保具备写入表的权限。

• 逐步测试简化数据写入：
  先创建仅包含简单字段（如comm_id、src_sys_name）的小DataFrame，尝试写入目标表。若成功，再逐步添加复杂字段（数组、时间戳等），定位引发问题的具体字段。

内容的提问来源于stack exchange，提问作者B-Brennan