小数据量Redshift插入速度过慢问题求助

• 优化Lambda与Redshift的交互逻辑

  • 合并多步SQL为单事务执行，用BEGIN; ... COMMIT;包裹截断staging表、复制数据、去重插入等操作，减少Lambda与Redshift之间的网络往返和连接建立开销。
  • 复用Redshift数据库连接，避免每次操作都新建连接（比如Python的psycopg2可通过连接池实现复用）。

• 重构目标表插入逻辑

  • 用MERGE语句替代“删除重复数据+插入”的两步操作，一次完成去重和数据写入，减少两次表扫描的开销：

    MERGE INTO target_table t
    USING staging_table s
    ON t.unique_key = s.unique_key -- 替换为你的业务唯一键
    WHEN NOT MATCHED THEN INSERT (col1, col2, ...) VALUES (s.col1, s.col2, ...);
    

  • 若业务允许全量覆盖目标表，直接执行TRUNCATE target_table; INSERT INTO target_table SELECT * FROM staging_table;，比先删重复再插入的效率更高。

• 调整Redshift集群与COPY命令参数

  • 小批量数据场景下，给COPY命令添加COMPUPDATE OFF和STATUPDATE OFF参数，关闭自动压缩更新与统计信息更新，避免不必要的后台开销：

    COPY staging_table FROM 's3://your-bucket/path'
    IAM_ROLE 'arn:aws:iam::xxx:role/redshift-s3-access'
    CSV
    COMPUPDATE OFF
    STATUPDATE OFF;
    

  • 测试环境可改用dc2.large这类小型节点，降低集群调度开销；同时调整max_concurrent_queries参数，避免资源争抢。

• 简化表创建操作

  • 改用CREATE TABLE IF NOT EXISTS替代每次都创建表的逻辑，减少DDL操作带来的元数据更新和锁表开销，仅在表不存在时执行创建。

内容的提问来源于stack exchange，提问作者Greg Reynolds