如何通过dbt将Shapefile导入Redshift？最优方案探讨

我有一份存储在S3上的DMA区域Shapefile，属于静态数据，不会频繁变更。原本想使用dbt seeds功能，但seeds仅支持CSV格式，因此希望找到能把现有Redshift导入SQL整合到dbt配置中的方法，无需手动执行外部SQL。当前手动执行的导入语句如下：

CREATE TABLE dma (
   fid INT IDENTITY(1,1),
   id BIGINT,
   name VARCHAR,
   long_name VARCHAR,
   geometry GEOMETRY);

COPY dma (geometry, id, name, long_name )
  FROM 's3://{somePath}/{someFile}.shp'
  FORMAT SHAPEFILE
  CREDENTIALS '{someCredentials}';

以下是几种可行的整合方案：

方案1：自定义宏 + 运行钩子（On-run Hooks） #

• 步骤1：编写导入宏
  在项目的macros/load_shapefile.sql文件中封装建表和COPY逻辑：

  {% macro load_dma_shapefile() %}
    -- 仅在表不存在时执行导入
    {% set table_exists = adapter.get_relation(database=target.database, schema=target.schema, identifier='dma') %}
    {% if not table_exists %}
      CREATE TABLE dma (
         fid INT IDENTITY(1,1),
         id BIGINT,
         name VARCHAR,
         long_name VARCHAR,
         geometry GEOMETRY);
  
      COPY dma (geometry, id, name, long_name )
        FROM 's3://{somePath}/{someFile}.shp'
        FORMAT SHAPEFILE
        CREDENTIALS '{someCredentials}';
    {% endif %}
  {% endmacro %}
  

• 步骤2：配置钩子自动触发
  在dbt_project.yml中添加运行钩子，让dbt在指定时机执行宏（比如每次dbt run前）：

  on-run-start:
    - "{{ load_dma_shapefile() }}"
  

方案2：dbt操作（dbt Operations）按需触发 #

如果不想每次dbt运行都自动执行导入，可保留上述宏定义，通过命令手动触发：

dbt run-operation load_dma_shapefile

该方案适合静态数据的初始化或偶尔更新场景，避免不必要的重复执行。

方案3：创建特殊dbt模型 #

可以将导入逻辑封装为一个dbt模型，通过模型执行DDL/DML：
在models/load_dma.sql中编写如下内容：

{{ config(materialized='ephemeral') }}

{% set load_sql %}
  CREATE TABLE IF NOT EXISTS dma (
     fid INT IDENTITY(1,1),
     id BIGINT,
     name VARCHAR,
     long_name VARCHAR,
     geometry GEOMETRY);

  COPY dma (geometry, id, name, long_name )
    FROM 's3://{somePath}/{someFile}.shp'
    FORMAT SHAPEFILE
    CREDENTIALS '{someCredentials}';
{% endset %}

{% do run_query(load_sql) %}

-- 模型需返回结果，返回空查询满足要求
SELECT 1 AS dummy WHERE 1=0

设置materialized='ephemeral'可避免生成冗余持久化表，仅执行导入逻辑。

关键注意事项 #

• 建议将SQL中的硬编码值（如S3路径、凭证）替换为dbt变量，比如在dbt_project.yml中定义vars: {s3_shapefile_path: 'xxx', iam_role_arn: 'xxx'}，再用{{ var('s3_shapefile_path') }}引用，提升配置灵活性。
• 若使用IAM角色授权Redshift访问S3，可将COPY语句中的CREDENTIALS替换为IAM_ROLE '{iam_role_arn}'，更安全合规。
• 静态数据务必添加表存在/数据量判断逻辑，避免重复执行COPY导致数据重复。

内容的提问来源于stack exchange，提问作者Arshak