基于S3记录过滤Redshift数据的AWS实现方案咨询

1. 前置数据准备 #

• 先适配S3端的竖线分隔文件：总数据只有2GB，两种方案可选，优先选第二种性能更好：
  1. 用Redshift Spectrum直接在S3上建外部表，建表时指定DELIMITER '|'参数适配竖线分隔格式，不需要把数据导入Redshift本地存储
  2. 用Redshift的COPY命令把S3的两个文件直接导入Redshift的临时普通表，小数据量导入耗时极短，后续查询性能更高
• 预计算S3侧的匹配规则：关联Product和Criteria两张表，过滤得到符合规则的「触发商品ID-待推荐商品ID」映射集合，这一步数据量极小，运行速度非常快

2. 核心匹配计算 #

• 用上一步得到的触发商品ID集合，关联Redshift中已购商品记录表，过滤出所有购买过对应触发商品的客户ID。如果已购商品表是数十亿条的大表，提前给productid、customerid字段设置排序键和分布键，能大幅降低关联耗时
• 用过滤得到的客户ID关联Redshift的客户表，补全你需要的客户属性（比如联系方式、用户分层标签等），最终得到每个待推荐商品对应的目标客户列表

3. 结果输出 #

• 需存到Redshift供后续分析查询：直接把计算结果写入提前建好的推荐结果表即可
• 需存到S3供其他系统调用：执行Redshift的UNLOAD命令，把查询结果直接导出到指定S3路径，支持自定义导出格式、压缩规则、分区规则

可选优化方案 #

• 若为定期跑的批任务：用AWS Step Functions编排全流程，搭配EventBridge做定时触发，全程不需要人工操作
• 若需S3规则更新后立即重算：给S3存储桶配置事件通知，规则文件更新后触发Lambda自动启动计算流程
• 数据校验补充：计算完成后可以加一步校验逻辑，对比输入的规则条数和输出的匹配客户量级，避免逻辑错误或者数据倾斜问题

内容的提问来源于stack exchange，提问作者Jayanthi