如何在dbt中查看Python模型的变量及输出？寻求可行方案

核心限制说明 #

dbt官方明确：Python模型由数据平台（如BigQuery、Snowflake等）独立执行，不受dbt直接监管，因此print()语句或标准logging模块的输出无法同步到dbt运行日志中。

替代调试方案 #

1. 把调试数据写入临时表 #

直接在Python模型里将需要查看的变量、中间结果写入临时表，之后通过数据平台的查询工具查看：

def model(dbt, session):
    dbt.config(materialized="table")
    
    # 业务逻辑示例
    df = dbt.ref("source_table")
    filtered_df = df[df["value"] > 100]
    
    # 调试：将变量/中间结果写入临时表
    debug_data = [
        {"var_name": "filtered_count", "value": len(filtered_df)},
        {"var_name": "sample_row", "value": filtered_df.iloc[0].to_dict()}
    ]
    debug_df = session.create_dataframe(debug_data)
    debug_df.write.save_as_table("debug_python_model_temp", mode="overwrite", temporary=True)
    
    return filtered_df

运行dbt后，直接在数据平台查询debug_python_model_temp即可查看调试内容。

2. 用dbt run-operation执行本地调试代码 #

编写自定义dbt宏，在本地执行Python逻辑（和dbt环境共享配置），终端可直接看到输出：
在macros/debug_python_logic.sql中添加：

{% macro debug_python_model() %}
    {% set python_code %}
        import pandas as pd
        # 模拟模型内的业务逻辑
        sample_data = {"id": [1,2,3], "value": [50, 150, 200]}
        df = pd.DataFrame(sample_data)
        filtered_count = len(df[df["value"] > 100])
        print(f"过滤后数据量: {filtered_count}")
        print(f"示例数据行: {df.iloc[1].to_dict()}")
    {% endset %}
    {% do run_python(python_code) %}
{% endmacro %}

执行命令：

dbt run-operation debug_python_model

终端会直接打印调试信息，无需依赖数据平台的远程执行环境。

3. 优化临时方案：复用dbt环境 #

不用手动复制代码到Jupyter，直接在Jupyter中加载dbt配置，复用模型依赖：

# 在Jupyter中初始化dbt环境
from dbt.cli.main import dbtRunner
from dbt.adapters.factory import get_adapter

runner = dbtRunner()
# 加载dbt项目配置
runner.invoke(["debug", "--no-version-check"])
adapter = get_adapter(runner.config)

# 获取模型引用的数据源
source_df = adapter.get_relation("source_table").to_pandas()

# 直接运行模型内的逻辑代码
filtered_df = source_df[source_df["value"] > 100]
print(f"过滤后数据量: {len(filtered_df)}")
print(f"首行数据: {filtered_df.iloc[0].to_dict()}")

此方式可保证调试环境与dbt运行环境一致，避免手动复制代码的误差。

原方案失效原因补充 #

• 标准logging模块的输出会被发送到数据平台的任务日志系统（如Snowflake的Query History、BigQuery的Job Logs），而非dbt本地日志，需到对应平台面板查看。
• print()语句的输出同样仅存在于数据平台的任务日志中，dbt无法捕获这类跨环境的输出内容。

内容的提问来源于stack exchange，提问作者DannyDannyDanny