如何用dbt宏在AWS Redshift中批量修改列名？

问题背景 #

需要在AWS Redshift中通过dbt宏实现：将表中所有驼峰式命名的列（如checkedAt、helloWorld）批量转换为下划线格式（checked_at、hello_world），无需手动指定列名；之前编写的替换大写字母的宏调用时出现语法错误，报错信息为：

Database Error in model xx (models/test.sql)
10:32:24 syntax error at or near "'checked_at'"

错误原因分析 #

1. 原宏仅接收单个列名字符串，但调用时传入了列名列表，宏处理后直接输出转换后的字符串，未生成原列名 as 新列名的SQL映射结构
2. 手动指定单个大写字母替换的方式不通用，无法覆盖所有驼峰转下划线的场景
3. 生成的SQL会出现类似select 'checked_at'的错误写法，将转换后的列名当作字符串而非列引用，导致Redshift语法报错

解决方案 #

1. 通用驼峰转下划线宏 #

使用正则表达式实现通用的驼峰转下划线逻辑，无需逐个替换大写字母：

{% macro camel_to_snake(column_name) %}
    {{ column_name | regex_replace('([A-Z])', '_\\1') | lower }}
{% endmacro %}

• 正则([A-Z])匹配所有大写字母，替换为_+对应小写字母
• 最后通过lower()确保整列名都是小写

2. 批量处理全表列名的宏 #

通过dbt内置的get_columns_in_source函数自动获取数据源的所有列名，批量生成列名映射：

{% macro transform_all_columns(source_name, table_name) %}
    {% set columns = get_columns_in_source(source_name, table_name) %}
    {% for col in columns %}
        {{ col.name }} as {{ camel_to_snake(col.name) }}
        {% if not loop.last %},{% endif %}
    {% endfor %}
{% endmacro %}

• get_columns_in_source会从dbt的数据源配置中获取指定表的所有列信息
• 循环遍历每个列，生成原列名 as 转换后列名的SQL片段，循环末尾自动添加逗号（最后一列除外）

3. 正确调用示例 #

在dbt模型中调用上述宏，无需手动列名：

with raw_data as (
    select
        *
    from
        {{ source('src', 'TableName') }}
),
transformed_data as (
    select
        {{ transform_all_columns('src', 'TableName') }}
    from
        raw_data
)
select
    *
from
    transformed_data

关键说明 #

• 确保dbt能正确读取数据源的列信息：需在dbt_project.yml或sources.yml中正确配置数据源和表结构，或者通过dbt run --models +模型名让dbt自动获取元数据
• 正则替换逻辑兼容所有驼峰格式（大驼峰、小驼峰），比如TestKitchenNew会转换为test_kitchen_new

内容的提问来源于stack exchange，提问作者x89