Java Spark跨GCP项目访问BigQuery视图遇权限拒绝错误求助

问题背景 #

• 存在两个GCP项目：proj-A（包含视图proj-A.proj_A_dataset.test_table）、proj-B
• proj-B的服务账号已被授予proj-B数据集的BigQuery Data Viewer权限
• Java Spark代码执行时出现权限错误：

  Error creating destination table using the following query:<完整查询>
  User does not have permission to query table. Access Denied

• PySpark环境下无此问题，推测Java端默认尝试在proj-A数据集创建临时物化表，但服务账号仅拥有数据查看权限
• 已尝试设置materializationProject等配置，但未生效

依赖与代码现状 #

依赖配置 #

exclude group: 'commons-io', module: 'commons-io'
exclude group: 'com.google.guava', module: 'guava'
}
implementation 'org.apache.spark:spark-sql_2.12:3.4.3'
implementation 'org.projectlombok:lombok:1.18.24'
implementation 'com.google.cloud.spark:spark-bigquery-with-dependencies_2.12:0.42.1'

代码片段 #

.appName("test")
.getOrCreate();

sparkSession.conf().set("viewsEnabled", "true");
sparkSession.conf().set("materializationProject","proj-B");
sparkSession.conf().set("materializationDataset","test_dataset");

String projectId = "proj-A";
String dataset = "proj_A_dataset";
String table = "test_table";

String bigQueryTable = projectId + "." + dataset + "." + table ;

Dataset<Row> bigQueryData  = sparkSession.read().format("bigquery").option("table",bigQueryTable).load();

解决方案 #

1. 修正配置参数的语法错误 #

原代码中使用了中文引号，导致materializationProject等参数未被Spark正确识别，这是核心问题之一。确保所有配置参数使用英文双引号：

sparkSession.conf().set("viewsEnabled", "true");
sparkSession.conf().set("materializationProject", "proj-B");
sparkSession.conf().set("materializationDataset", "test_dataset");

2. 补充服务账号的必要权限 #

• 给proj-B的服务账号添加proj-A中视图proj-A.proj_A_dataset.test_table的BigQuery Data Viewer权限（需要读取视图本身）
• 给服务账号添加proj-B中test_dataset的BigQuery Data Editor权限（需要在该数据集创建临时物化表，只读权限不足以完成写入操作）

3. 显式配置物化表前缀（可选） #

添加临时表前缀配置，避免与现有表冲突，同时明确临时表归属：

sparkSession.conf().set("materializationTablePrefix", "spark_temp_");

4. 检查依赖版本兼容性 #

当前使用的spark-bigquery-with-dependencies_2.12:0.42.1适配Spark 3.3.x，建议升级到适配Spark 3.4.x的版本（如0.43.x系列），避免版本不兼容导致的配置失效问题

5. 将物化配置直接写入read选项（备选方案） #

如果全局Session配置不生效，可将参数直接附加在read操作中：

Dataset<Row> bigQueryData = sparkSession.read()
    .format("bigquery")
    .option("table", bigQueryTable)
    .option("viewsEnabled", "true")
    .option("materializationProject", "proj-B")
    .option("materializationDataset", "test_dataset")
    .load();

问题根源 #

Java代码中的中文引号导致物化表配置未生效，Spark Connector默认在源项目（proj-A）创建临时物化表，但服务账号没有proj-A数据集的写入权限，因此触发权限错误。PySpark环境因配置参数格式正确，可在proj-B数据集创建临时表，从而绕过权限问题。

内容的提问来源于stack exchange，提问作者Rajender Prasad