Kinesis Firehose投递DynamoDB Stream数据到S3时JSON对象数量不一致原因？

S3文件JSON对象数量不统一的原因 #

你猜测的Kinesis Firehose批次聚合是该现象的核心原因。
Kinesis Firehose写入S3默认采用双条件缓冲触发机制，两个条件满足任意一个就会将当前收集的所有数据合并为单个文件写入S3：

• 缓冲大小阈值：默认5MB，可配置范围1MB~128MB，单条归档JSON远小于该阈值的场景下基本不会触发
• 缓冲时间阈值：默认300秒（5分钟），可配置范围60秒~900秒，低流量场景下通常由该条件触发写入
  所以不同时间窗口内收集到的条目数量不同，就会出现单文件内JSON对象数量不固定的情况。
  除了Firehose本身的聚合机制外，还有几个可能的影响因素：
• DynamoDB TTL删除不具备秒级精确性，官方说明过期条目通常会在48小时内完成删除，可能出现多条过期条目被集中在同一时段删除的情况，导致同一时间窗口内条目数波动
• DynamoDB Stream触发Lambda时默认采用批量拉取机制，单次最多可拉取100条流记录，若同一时段有多条REMOVE类型记录，Lambda会批量处理后投递到Firehose
• Firehose内置失败重试逻辑，若某次S3写入失败，会将未写入成功的批次和后续新接收的条目合并后重试，也可能导致单文件条目数变化

每5分钟1条TTL删除记录的文件数量预估 #

预估逻辑完全取决于你配置的Firehose缓冲参数：

• 若使用默认配置（缓冲时间300秒/5分钟，缓冲大小5MB）：由于单条数据远小于5MB，永远由缓冲时间阈值触发写入，理想状态下每5分钟生成1个文件，每天约生成288个文件，每月约8640个文件。受TTL删除的时间偏差影响，可能偶尔出现2条条目落在同一个缓冲窗口的情况，实际文件数量会比理想值低3%~5%
• 若你调整了缓冲时间：比如将缓冲时间调为15分钟，则每15分钟的3条条目合并为1个文件，每天约生成96个文件，以此类推
• 若你希望单文件仅包含1个JSON对象：可以将Firehose缓冲时间调为最小值60秒、缓冲大小调为最小值1MB，但由于你每5分钟才产生1条数据，仍会每5分钟生成1个单条目文件，该场景下其实可以直接去掉Firehose环节，由Lambda完成ETL后直接写入S3，链路更精简。

内容的提问来源于stack exchange，提问作者shihs