如何通过DBT-CLI向Spark-Livy-Adapter版DBT传递Spark执行器参数？

dbt-spark-livy适配器本身不支持直接用--spark_conf这种自定义命令行参数传递配置，以下是几种可行的实现方式：

方法1：通过环境变量传递 #

spark-livy适配器会自动识别并加载以SPARK_CONF_为前缀的环境变量，变量名中的下划线会被转换为Spark配置的连字符。

比如要设置num-executors=5，执行命令前先导出环境变量：

export SPARK_CONF_num_executors=5
dbt run --select my_model

方法2：结合--vars参数与配置文件变量引用 #

这种方式更灵活，适合需要动态传递多个配置的场景：

1. 修改你的profiles.yml，在spark-livy的配置块中用变量引用Spark配置：

my_spark_livy_profile:
  target: dev
  outputs:
    dev:
      type: spark
      method: livy
      schema: your_schema
      host: <livy_host_address>
      port: <livy_port>
      spark_conf:
        num-executors: "{{ var('num_executors', 2) }}" # 2是默认值，可根据需求调整
        # 其他需要动态设置的Spark配置都可以按此格式添加

2. 执行dbt命令时通过--vars传递参数：

dbt run --select my_model --vars '{"num_executors": 5}'

方法3：临时修改profiles.yml（快速测试用） #

如果只是临时测试，可直接在profiles.yml的spark_conf块中添加配置：

spark_conf:
  num-executors: 5

之后执行常规的dbt命令即可：

dbt run --select my_model

注意事项 #

• 确保使用的dbt-spark版本是最新稳定版，老版本可能不支持环境变量或变量引用功能
• 检查Livy服务器的livy.server.session.conf.whitelist配置，确认num-executors在允许的配置列表内，否则Livy会拒绝客户端传递的该配置

内容的提问来源于stack exchange，提问作者Gabber