EventBridge Pipe对接FIFO SQS：动态唯一MessageGroupId实现与架构问询

已将EventBridge Pipe的目标设置为FIFO SQS队列，该队列配置Lambda触发器以“单次批量1条”的方式处理消息（业务约束需逐条处理）。调整SQS属性（visibilityTimeout、delay等）后仍出现异常：Pipe推送至SQS的消息发送数正常，但Lambda未触发，消息接收数与发送数不符，且消息既不在队列中也未进入死信队列（DLQ）。经排查，该问题由AWS SQS分布式特性在低事件量下导致，需确保Pipe发送至SQS的每条消息拥有唯一MessageGroupId，但目前EventBridge仅支持硬编码静态值，无法设置动态/唯一值。

问题1：如何为Pipe设置动态/唯一的MessageGroupId（如使用源数据中的UUID）？ #

截至2024年，AWS EventBridge Pipes仍不支持从源事件中提取动态值（如事件自带的UUID）作为FIFO SQS的MessageGroupId，仅允许配置硬编码的静态值。官方暂未推出该功能的正式支持，因此无法直接通过Pipe的控制台配置或API参数实现动态设置。

问题2：若仍不可行，可采用何种基于Pipe的架构，新增处理层为消息添加唯一MessageGroupId后再发送至FIFO SQS？ #

推荐以下两种基于Pipe的架构方案：

方案1：Pipe → 标准SQS → Lambda → FIFO SQS #

• 配置EventBridge Pipe的目标为标准SQS队列（无MessageGroupId限制，Pipe可正常推送所有消息）
• 为标准SQS配置Lambda触发器，设置批量大小为1（符合逐条处理的业务约束）
• 在Lambda函数中，从源消息中提取UUID（或生成新的UUID）作为MessageGroupId，调用SQS API将消息发送至目标FIFO SQS队列
• 为Lambda配置DLQ，处理发送FIFO SQS失败的消息，避免丢失

方案2：Pipe → Lambda → FIFO SQS #

• 直接将EventBridge Pipe的目标设置为Lambda函数
• 在Lambda函数中完成两项操作：1. 处理业务前置逻辑（若有）；2. 为消息添加唯一MessageGroupId（提取源数据UUID或生成新值），调用SQS API发送至FIFO SQS
• 配置Lambda的错误处理机制（如重试策略、DLQ），确保消息在发送失败时可被回溯处理

这两种方案均通过新增Lambda处理层解决MessageGroupId的动态生成问题，同时适配低事件量场景下SQS的分布式特性，避免消息“消失”的异常。

内容的提问来源于stack exchange，提问作者newbreedofgeek