如何通过命令行控制台为dbt build传入JSON格式变量

问题根源 #

dbt的--vars参数要求传入YAML字典格式，直接传递JSON数组会被识别为字符串；同时命令行的引号嵌套逻辑会导致YAML解析失败。

可行解决方案 #

1. 命令行直接传参（处理引号转义）

在bash/zsh环境中，外层用双引号包裹YAML字典，内部JSON的双引号用反斜杠转义，确保整体是合法的YAML键值对：

dbt build --vars "{\"json\": [{\"name\": \"Name\", \"type\": \"STRING\", \"mode\": \"NULLABLE\"}]}"

2. Python生成合规的命令参数

利用Python的json.dumps()自动处理JSON格式，再嵌入到YAML字典字符串中，避免手动转义错误：

import json

# 生成目标schema数组
schema = [{'name': 'Name', 'type': 'STRING', 'mode': 'NULLABLE'}]
schema_json = json.dumps(schema)
# 构造符合要求的vars参数（YAML字典格式）
vars_arg = f'{{"json": {schema_json}}}'
# 生成最终dbt命令
dbt_command = f'dbt build --vars "{vars_arg}"'

3. 临时YAML文件传递（复杂场景推荐）

如果JSON结构复杂，命令行传参容易出错，可将变量写入临时YAML文件，用--vars-file引用：

• Python生成YAML文件：

import yaml

schema = [{'name': 'Name', 'type': 'STRING', 'mode': 'NULLABLE'}]
vars_dict = {'json': schema}

with open('/tmp/dbt_vars.yaml', 'w') as f:
    yaml.dump(vars_dict, f)

• 执行dbt命令：

dbt build --vars-file /tmp/dbt_vars.yaml

Airflow+Kubernetes场景注意事项 #

在Kubernetes Pod Operator中，建议用command和args分开传递参数，避免shell解析引号的问题：

from airflow.providers.cncf.kubernetes.operators.kubernetes_pod import KubernetesPodOperator
import json

schema = [{'name': 'Name', 'type': 'STRING', 'mode': 'NULLABLE'}]
schema_json = json.dumps(schema)
vars_arg = f'{{"json": {schema_json}}}'

KubernetesPodOperator(
    task_id='dbt_build_task',
    image='your-dbt-image:latest',
    command=['dbt'],
    args=['build', '--vars', vars_arg],
    # 其他配置（如挂载、资源限制等）
)

内容的提问来源于stack exchange，提问作者Alex