如何将dbt中agate.Row类型值转换为字符串执行COPY INTO

问题场景 #

要在dbt宏里给Snowflake的COPY INTO语句生成带年份参数的动态S3路径，由于Snowflake不支持直接写入动态路径，采用拼接SQL字符串的方案：

1. 用CONCAT拼接包含年份的COPY INTO语句字符串
2. 尝试通过run_query执行拼接后的语句，但run_query返回的agate.Row类型未正确提取为字符串，导致SQL编译错误（提示意外字符'<'）

解决方案 #

方案1：正确提取agate.Row中的SQL字符串 #

run_query执行查询后返回的是agate表对象，其中每一行是agate.Row类型，不能直接当成字符串使用。如果你的拼接SQL返回的是单字段结果，需要通过索引提取对应字段的字符串值：

{% set generate_copy_sql %}
SELECT CONCAT('COPY INTO s3://your-bucket/data/year=', {{ var('target_year') }}, '/ FROM your_source_table')
{% endset %}

{% set query_result = run_query(generate_copy_sql) %}
{% set final_copy_sql = query_result.rows[0][0] %} -- 提取第一行第一列的字符串值

-- 执行最终的COPY INTO语句
{{ run_query(final_copy_sql) }}

错误原因：直接将agate.Row对象传入run_query时，会把对象的默认字符串表示（如<agate.Row object at 0x123456>）当成SQL执行，因此触发了"意外字符'<' "的编译错误。

方案2：直接用Jinja模板拼接SQL（更高效） #

没必要通过Snowflake的CONCAT函数生成SQL字符串，直接在dbt的Jinja模板里完成变量拼接，完全避开agate.Row的转换问题：

{% set target_year = var('target_year') %}
{% set copy_into_sql %}
COPY INTO s3://your-bucket/data/year={{ target_year }}/ 
FROM your_source_table
-- 可添加其他COPY INTO参数，如FILE_FORMAT=(TYPE=PARQUET)
{% endset %}

{{ run_query(copy_into_sql) }}

调试技巧 #

可以在提取或拼接SQL后加入日志打印，验证生成的SQL是否符合预期：

{{ log('Generated COPY INTO SQL: ' ~ final_copy_sql, info=True) }}

内容的提问来源于stack exchange，提问作者user6308605