AWS Glue写入BigQuery触发NullPointerException问题排查求助

可能的核心原因 #

• 0.24.2版本已知缺陷：该版本属于较早的连接器版本，存在未修复的空指针bug，比如在处理配置参数、表元数据解析或数据类型映射时的逻辑漏洞。
• 配置参数不匹配：即使凭证正确，部分必填参数的名称或格式不符合0.24.2版本要求，比如临时GCS桶、项目ID的配置项名称与新版本不同。
• 数据类型映射冲突：源表bigint类型与BigQuery integer类型在0.24.2版本中的转换逻辑存在问题，导致类型解析时触发空指针。
• 凭证加载逻辑异常：虽然credentials.json内容正确，但连接器可能无法正确识别配置的文件路径，或需要采用其他凭证加载方式。

具体调试步骤 #

1. 开启连接器详细日志 #

在Glue作业的--conf参数中添加以下配置，获取连接器内部执行日志，定位空指针发生的具体环节：

--conf log4j.logger.com.google.cloud.spark.bigquery=DEBUG
--conf log4j.logger.com.google.cloud.hadoop=DEBUG

查看日志中NullPointerException的堆栈信息，确认是在凭证加载、表元数据创建还是数据写入阶段出错。

2. 脱离Glue Catalog测试 #

直接在代码中构造极简DataFrame，跳过Glue Catalog，测试写入BigQuery是否正常：

from pyspark.sql.functions import col

# 构造测试数据
test_df = spark.createDataFrame([(i,) for i in range(10)], ["id"]).withColumn("id", col("id").cast("bigint"))
test_df.printSchema()
test_df.show(5)

# 尝试写入BigQuery
test_df.write \
  .format("com.google.cloud.spark.bigquery") \
  .option("table", "<项目ID>.<数据集ID>.<表名>") \
  .option("credentialsFile", "s3://<你的桶>/path/credentials.json") \
  .option("tempGcsBucket", "<临时GCS桶>") \
  .mode("overwrite") \
  .save()

如果此测试仍报错，说明问题与Glue Catalog无关，聚焦连接器本身。

3. 核对0.24.2版本专属配置参数 #

0.24.2版本的配置参数与新版本存在差异，确保以下必填项正确设置：

--conf spark.hadoop.fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem
--conf spark.hadoop.fs.AbstractFileSystem.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS
--conf spark.sql.BigQuery.projectId=<你的GCP项目ID>
--conf spark.sql.BigQuery.datasetId=<目标数据集ID>
--conf spark.sql.BigQuery.tempGcsBucket=<用于临时数据的GCS桶>
--conf spark.hadoop.google.cloud.auth.service.account.json.keyfile=s3://<存储credentials.json的S3路径>

注意：0.24.2版本不支持spark.sql.BigQuery.credentialsFile，需使用spark.hadoop.google.cloud.auth.service.account.json.keyfile指定凭证文件路径。

4. 验证凭证可用性 #

在Glue作业中加入代码，直接用GCP客户端测试凭证是否能正常访问BigQuery：

from google.cloud import bigquery
import json
import boto3

# 从S3读取凭证文件
s3 = boto3.client('s3')
response = s3.get_object(Bucket='<你的桶>', Key='path/credentials.json')
credentials_json = json.loads(response['Body'].read().decode('utf-8'))

# 初始化BigQuery客户端
client = bigquery.Client.from_service_account_info(credentials_json)
# 测试列出数据集
datasets = list(client.list_datasets())
print(f"可访问的数据集：{[d.dataset_id for d in datasets]}")

如果此测试成功，说明凭证有效，问题出在连接器对凭证的加载逻辑上。

5. 调整数据类型与写入参数 #

• 尝试将源表bigint类型转换为int类型后再写入：df.withColumn("id", col("id").cast("int"))
• 指定明确的表创建与写入策略：

  df.write \
    .format("com.google.cloud.spark.bigquery") \
    .option("table", "<项目ID>.<数据集ID>.<表名>") \
    .option("createDisposition", "CREATE_IF_NEEDED") \
    .option("writeDisposition", "WRITE_TRUNCATE") \
    .option("credentialsFile", "s3://<你的桶>/path/credentials.json") \
    .option("tempGcsBucket", "<临时GCS桶>") \
    .mode("overwrite") \
    .save()
  

6. 检查临时路径权限 #

确认临时GCS桶的权限配置正确，连接器需要具备该桶的读写权限，同时检查S3到GCS的临时数据传输是否正常（可手动上传一个文件到临时GCS桶验证）。

内容的提问来源于stack exchange，提问作者Pikaro