Glue 4.0用Spark-BigQuery连接器写DataFrame遇Guice异常求助

问题根源 #

从错误栈可定位核心问题：Google服务账号凭证解析失败，具体是JSON解析时遇到GenericJson类型而非预期的原始类型，通常由以下原因导致：

• 服务账号密钥文件格式错误或非标准JSON结构
• Spark-BigQuery连接器版本与Glue 4.0内置依赖冲突
• 凭证配置方式不符合连接器要求

解决方案 #

1. 验证服务账号凭证格式 #

• 确保使用标准Google服务账号JSON密钥文件，结构必须包含type、project_id、private_key、client_email等核心字段，无多余嵌套或语法错误。
• 禁止使用OAuth令牌、用户凭证等非服务账号类型的凭证文件。

2. 适配Glue 4.0的连接器版本 #

Glue 4.0基于Spark 3.3.x，原使用的0.32.2版本可能存在依赖冲突，建议更换为官方推荐的兼容版本（如0.34.1）：

• 替换作业中的JAR包为spark-bigquery-with-dependencies_2.12-0.34.1.jar
• 原因：连接器打包的Google客户端库与Glue内置版本冲突，导致JSON解析逻辑异常。

3. 正确配置凭证加载方式 #

推荐：使用Glue作业IAM角色

• 为Glue作业绑定的IAM角色添加BigQuery写入权限（bigquery.tables.create、bigquery.tables.updateData）及临时GCS桶的读写权限
• 无需手动指定凭证，连接器会自动使用Glue的默认服务凭证

手动指定服务账号密钥

• 将密钥文件上传至S3，通过Spark配置指定路径：

  spark.conf.set("spark.hadoop.google.cloud.auth.service.account.json.keyfile", "s3://your-bucket/path/to/service-account-key.json")
  

• 禁止直接将JSON内容粘贴到配置参数中，否则会导致解析错误

4. 排除冲突依赖（可选） #

若更换版本后仍存在依赖冲突，可在作业中排除连接器与Glue内置冲突的库：

spark.conf.set("spark.jars.packages", "com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.34.1")
spark.conf.set("spark.jars.excludes", "com.google.api-client:google-api-client,com.google.oauth-client:google-oauth-client")

5. 验证写入代码 #

确保写入代码符合连接器要求，示例：

# 假设df是要写入的DataFrame
df.write.format("bigquery") \
    .option("table", "your-project.your-dataset.target-table") \
    .option("temporaryGcsBucket", "your-temp-gcs-bucket") \
    .mode("append")  # 或"overwrite"/"ignore"/"errorifexists"
    .save()

• temporaryGcsBucket为必填项，连接器需通过GCS作为中间存储写入BigQuery

内容的提问来源于stack exchange，提问作者Sumit Gangwar