AWS Redshift：如何在主存储过程中并行调用子存储过程？

核心逻辑 #

维度表普遍存在依赖关系（比如日期维度→用户维度→商品维度），必须按顺序执行；事实表仅依赖维度表数据，彼此间无关联，可并行执行以压缩整体耗时。我们可以通过主存储过程控制维度的顺序调用，同时利用Redshift的异步执行能力触发事实表存储过程并行运行。

具体实现方案 #

1. 维度表顺序执行（主SP内同步调用） #

在主存储过程中，严格按依赖顺序依次调用维度加载SP，确保前一个维度加载完成后再启动下一个：

CREATE OR REPLACE PROCEDURE master_etl()
AS $$
BEGIN
    -- 按依赖优先级执行维度加载SP
    CALL load_dim_date();
    CALL load_dim_user();
    CALL load_dim_product();
    CALL load_dim_category();

    -- 维度全量加载完成后，触发事实表并行加载
    CALL trigger_fact_parallel_load();
END;
$$ LANGUAGE plpgsql;

2. 事实表并行执行的两种实现方式 #

方式一：Redshift异步存储过程调用（推荐）

Redshift支持CALL ... ASYNC语法，无需等待前一个SP执行完成即可触发下一个，直接实现并行：

CREATE OR REPLACE PROCEDURE trigger_fact_parallel_load()
AS $$
BEGIN
    -- 异步调用各事实表加载SP，实现并行执行
    CALL load_fact_sales() ASYNC;
    CALL load_fact_inventory() ASYNC;
    CALL load_fact_user_behavior() ASYNC;

    -- 可选：若需主SP等待所有异步任务完成，添加此语句
    WAIT FOR ALL ASYNC CALLS;
END;
$$ LANGUAGE plpgsql;

• 注意事项：异步调用的SP不能包含输出参数，无法直接获取返回值，需通过自定义日志表或状态表跟踪执行结果；WAIT FOR ALL ASYNC CALLS会阻塞主SP，直到所有异步任务结束，无需等待可省略该语句。
• 状态监控：通过SVL_ASYNC_CALL系统表查看异步任务的执行状态、耗时及错误信息。

方式二：外部调度工具管控（适合复杂场景）

如果需要更精细的调度控制（比如失败重试、优先级配置），可结合AWS Step Functions或Apache Airflow等工具：

• 第一步：在调度工具中按顺序触发维度加载SP，设置每个任务的依赖条件（前一个维度加载成功才执行下一个）。
• 第二步：维度全量加载完成后，同时触发所有事实表加载任务，由调度工具管理并行执行的生命周期。

3. 关键注意事项 #

• 维度依赖校验：在每个维度SP开头添加依赖数据检查逻辑，比如load_dim_user()执行前确认dim_date已有有效数据，避免加载失败。
• 并发资源控制：Redshift的并发查询数受集群节点规格限制，需根据集群配置控制并行执行的事实SP数量，避免资源耗尽导致整体性能下降。
• 错误处理与日志：
  • 在每个SP中添加异常捕获逻辑，将错误详情写入自定义日志表（如etl_job_log）。
  • 通过STL_QUERY、STL_PROCESS系统表监控存储过程的执行状态和耗时。
• 数据一致性：Redshift存储过程默认自动提交事务，确保维度SP执行完成后数据已完全提交，避免事实表加载时读取未提交的维度数据。

性能优化补充 #

• 维度表加载采用TRUNCATE + INSERT替代DELETE + INSERT，减少事务日志开销。
• 事实表优先使用COPY命令从S3批量加载，比单条INSERT语句效率高数倍。
• 开启Redshift的AUTO_WLM自动负载管理，让集群动态为并行任务分配资源。

内容的提问来源于stack exchange，提问作者Murugan S