如何将Kinesis Data Firehose的座席事件流数据发送至SNS触发Lambda？

核心结论 #

Kinesis Data Firehose不支持直接将数据发送到SNS主题（即你所说的反向操作没有原生支持），但可以通过间接方案实现你的目标——利用Firehose输出的数据触发Lambda，最终推送到Microsoft Teams。

基于你现有配置（Firehose→S3）的可行方案 #

方案1：S3事件触发Lambda（最直接高效）

这是适配你现有架构的最优路径，流程为：
Firehose写入数据到S3 → S3触发Lambda → Lambda处理数据并发送到SNS → SNS推送至Teams

具体步骤：

• 配置S3事件通知：进入你的S3桶，创建事件通知，选择触发事件为「对象创建（所有）」或「Put」，目标选择你的Lambda函数。
• Lambda处理逻辑：
  1. 使用AWS SDK（如Python的boto3）读取触发事件中的S3对象内容
  2. 解析Firehose输出的数据格式（Agent Event Streams的输出通常是JSON结构，注意Firehose会按批次生成文件，可能是每行一个JSON或JSON数组）
  3. 提取你需要的关键信息，转换成Microsoft Teams支持的消息格式（比如自适应卡片）
  4. 调用SNS的publish接口，将消息发送到目标主题
• SNS订阅配置：给SNS主题添加HTTPS订阅，端点填写Teams的入站webhook URL，确保SNS消息格式符合Teams要求。

方案2：Firehose Lambda转换+并行处理

如果需要在数据写入S3前就触发处理，可以给Firehose添加Lambda转换，流程为：
Agent Event Streams→Firehose → Lambda转换数据 → Firehose写入S3 + Lambda发送数据到SNS → SNS触发后续流程推送到Teams

注意事项：

• Lambda转换的核心作用是数据格式转换，附加发送SNS的操作需考虑并发限制和错误处理
• 确保Lambda角色拥有Firehose数据读取、SNS消息发布的权限

关键权限配置要点 #

• 给Lambda角色添加：
  • AmazonS3ReadOnlyAccess（读取S3文件）
  • AmazonSNSFullAccess（或更细粒度的sns:Publish权限，仅针对目标主题）
• 给S3桶的事件通知配置权限，允许S3调用Lambda函数

额外提醒 #

• 处理Firehose的批次数据时，注意拆分单条记录，避免一次性处理过大的文件导致Lambda超时
• 配置Lambda的死信队列（DLQ），处理失败的消息；同时开启Firehose的日志记录，排查数据写入问题

内容的提问来源于stack exchange，提问作者Chifster