如何将筛选后的DynamoDB记录推送至SQS队列？

方案一：AWS Glue + 自定义Python脚本（推荐） #

AWS Glue完全支持将筛选后的单条记录推送到SQS，具体实现逻辑：

• 用Glue的DynamoDB数据源读取全量表数据，通过Spark SQL或Python代码完成数据筛选，尽量在读取阶段用FilterExpression提前过滤，减少后续处理量
• 在Glue作业的Python脚本中集成boto3库，调用SQS的send_message或send_message_batch接口发送记录。优先用批量接口（单次最多发10条），能大幅降低API调用次数、提升效率
• 配置Glue作业资源：选择G.1X或G.2X类型的Worker，根据数据量设置2-4个Worker，针对50万条目标记录，该配置基本能在15分钟内完成任务
• 定期触发：通过CloudWatch Events按设定周期（如每日、每周）触发Glue作业，实现自动化定期全量导出

方案二：Lambda + 分页扫描 + 批量发送（轻量化备选） #

如果倾向用Lambda，可通过优化突破性能限制：

• 用DynamoDB的scan接口分页读取数据，设置Limit为1000条/批次，同时开启并行扫描（分割多个Segment），提升全量数据读取速度
• 筛选后用SQS的send_message_batch批量发送，减少网络开销
• 配置Lambda内存为1024MB及以上（内存越高CPU性能越强），缩短单批次处理时间
• 用Step Functions编排任务：将扫描、筛选、发送拆分为多步骤，并行处理不同数据分片，避免单个Lambda触发15分钟超时，同时监控整体执行进度

方案三：ECS/EKS容器服务（长期高频任务适配） #

若该定期任务长期运行且频次高，容器化部署更灵活：

• 编写Python/Java服务，优先将DynamoDB全量数据导出到S3后再读取处理（数据量过大时更高效），完成筛选后调用SQS批量接口发送
• 部署到ECS Fargate或EKS，根据数据量配置CPU/内存资源，通过CloudWatch Events按周期触发
• 优势是扩展性强，可根据数据规模调整实例数量，避免Lambda的并发限制和超时约束

通用优化要点 #

• 优先批量操作：DynamoDB读取、SQS发送均用批量接口，减少网络交互开销
• 提前筛选：在DynamoDB扫描阶段用FilterExpression过滤数据，不要全量读取后再筛选
• 重试与监控：给SQS发送逻辑添加重试机制（如boto3的重试配置），用CloudWatch监控作业执行时间、失败率，及时调整资源配置

内容的提问来源于stack exchange，提问作者user2813735