已配置dbt_helpers包覆盖Spark全局宏未生效，如何解决？

我有一个名为dbt_helpers的dbt包，想要覆盖dbt Spark适配器中的dbt_spark_validate_get_file_format宏。我参考官方文档做了以下操作，但运行模型时还是调用内置宏，只有把宏放在主项目macros目录才生效：

1. 在dbt_helpers包的macros文件夹中编写了宏：

{% macro dbt_spark_validate_get_file_format(raw_file_format) -%}
    {{ return(adapter.dispatch('dbt_spark_validate_get_file_format','dbt_helpers')(raw_file_format)) }}
{%- endmacro %}

{% macro default__dbt_spark_validate_get_file_format(raw_file_format) %}
    {% do log('overriding global macro', info=true) %}
    {#  Custom implementation here  #}
{% endmacro %}

2. 主项目packages.yml已引入该包，执行dbt deps后能看到包内宏
3. 主项目dbt_project.yml配置了dispatch：

dispatch:
  - macro_namespace: dbt
    search_order: ['dbt_helpers','dbt']

问题核心是dispatch配置的命名空间错误，同时包内宏的适配逻辑需要微调，具体修正步骤如下：

1. 修正dispatch配置 #

要覆盖的是Spark适配器的宏，它属于spark命名空间而非dbt。将主项目dbt_project.yml的dispatch配置修改为：

dispatch:
  - macro_namespace: spark
    search_order: ['dbt_helpers', 'spark']

2. 调整包内宏的定义 #

为了匹配Spark适配器的dispatch逻辑，建议新增Spark专属的宏实现（也可保留default__作为兜底）：

{% macro dbt_spark_validate_get_file_format(raw_file_format) -%}
    {{ return(adapter.dispatch('dbt_spark_validate_get_file_format', 'dbt_helpers')(raw_file_format)) }}
{%- endmacro %}

# 针对Spark适配器的专属实现
{% macro spark__dbt_spark_validate_get_file_format(raw_file_format) %}
    {% do log('overriding spark macro from dbt_helpers', info=true) %}
    {# 自定义逻辑示例：参考原宏逻辑修改 #}
    {% set raw_file_format = raw_file_format | lower %}
    {% set valid_formats = ['delta', 'parquet', 'orc', 'json', 'csv', 'text'] %}
    {% if raw_file_format not in valid_formats %}
        {% do exceptions.raise_compiler_error(
            "Invalid file format '" ~ raw_file_format ~ "'. Valid formats: " ~ valid_formats | join(', ')
        ) %}
    {% endif %}
    {{ return(raw_file_format) }}
{% endmacro %}

# 兜底实现，适配其他适配器场景
{% macro default__dbt_spark_validate_get_file_format(raw_file_format) %}
    {% do log('overriding default macro from dbt_helpers', info=true) %}
    {{ return(raw_file_format | lower) }}
{% endmacro %}

3. 验证覆盖效果 #

• 重新执行dbt deps确保包已正确加载
• 运行dbt模型时查看日志，若出现overriding spark macro from dbt_helpers的日志，说明宏覆盖成功

内容的提问来源于stack exchange，提问作者sanchit08