dbt Python增量模型报错：spark_catalog要求单部分命名空间

场景描述 #

• 基于dbt的Python模型功能，实现了从BigQuery读取数据、计算后写回BigQuery的模型
• 采用Dataproc无服务器提交模式，将模型作为PySpark任务运行

问题复现 #

使用table物化方式时模型运行正常，但切换为incremental物化方式后，通过dbt.this访问当前模型位置时触发报错。尝试改用session.table(dbt.this)获取表并计算，仍出现相同错误。

错误代码片段：

# 仅处理新增数据
if dbt.is_incremental:
    # 只处理比当前表中最大时间新的数据
    max_from_this = f"select max(created_at) from {dbt.this}"
    df = df.filter(df.created_at >= session.sql(max_from_this).collect()[0][0])

错误信息 #

df = df.filter(df.created_at >= session.sql(max_from_this).collect()[0][0])
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", line 1034, in sql
File "/usr/lib/spark/python/lib/py4j-0.10.9.5-src.zip/py4j/java_gateway.py", line 1321, in __call__
File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/utils.py", line 196, in deco
pyspark.sql.utils.AnalysisException: spark_catalog requires a single-part namespace, but got [x, y]

问题原因 #

在Dataproc无服务器的Spark环境中，dbt.this返回的是包含项目ID、数据集ID和表名的完整BigQuery路径（格式为project.dataset.table），而Spark的spark_catalog无法直接识别这种多部分命名空间，因此触发报错。

解决方法 #

方法1：转换为BigQuery专属Spark引用格式 #

将dbt.this拼接为Spark能识别的BigQuery表路径前缀bigquery.，让Spark通过BigQuery连接器正确解析表位置：

if dbt.is_incremental:
    # 转换为BigQuery的Spark引用格式
    bq_table_ref = f"bigquery.{dbt.this}"
    max_from_this = f"select max(created_at) from {bq_table_ref}"
    max_created_at = session.sql(max_from_this).collect()[0][0]
    df = df.filter(df.created_at >= max_created_at)

方法2：通过dbt Relation对象提取正确路径 #

利用dbt内置的Relation对象，拆分dbt.this的数据库、 schema和表名，再构建合规的引用路径：

from dbt.adapters.bigquery.relation import BigQueryRelation

if dbt.is_incremental:
    this_relation = dbt.get_relation(dbt.this.database, dbt.this.schema, dbt.this.name)
    # 构建Spark可识别的BigQuery表路径
    bq_table = f"bigquery.{this_relation.database}.{this_relation.schema}.{this_relation.name}"
    max_created_at = session.table(bq_table).agg({"created_at": "max"}).collect()[0][0]
    df = df.filter(df.created_at >= max_created_at)

额外注意：需确保Dataproc无服务器集群已正确配置BigQuery连接器权限，且dbt的BigQuery适配器配置能正确识别项目与数据集信息。

内容的提问来源于stack exchange，提问作者Carlos Veríssimo