如何为多DynamoDB表配置AWS Firehose分文件夹备份（无法用动态分区）

针对你的问题，这里有几个可行的AWS原生方案，无需依赖外部工具：

方案1：为每张表配置独立的Firehose交付流 #

• 给每张需要备份的DynamoDB表单独创建一个Kinesis Data Firehose交付流
• 在Firehose的S3目的地配置中，直接指定固定前缀路径，例如：dynamo-backup/my-table-1/、dynamo-backup/my-table-2/
• 将对应DynamoDB表的Kinesis数据流作为该Firehose的数据源

优点：配置简单，无额外数据处理逻辑，故障隔离性好（单表流故障不影响其他表）
缺点：表数量较多时，需要管理多个Firehose资源，运维成本略高

方案2：通过Lambda预处理注入表名，实现动态分区 #

如果希望用单条Firehose流处理多张表的数据，可以通过以下步骤实现：

1. 将所有目标DynamoDB表的Kinesis数据流统一转发到同一个Kinesis Data Stream（可通过DynamoDB流的目标配置直接关联）
2. 创建一个Lambda函数，用于预处理Firehose的输入数据：
   • 解析每条记录的eventSourceARN字段，从中提取DynamoDB表名（ARN格式为arn:aws:dynamodb:<region>:<account-id>:table/<table-name>/stream/...，分割字符串即可获取表名）
   • 将提取到的表名作为新字段（例如table_name）添加到记录的顶层结构中
   • 返回处理后的记录给Firehose
3. 在Firehose配置中启用Lambda预处理，关联上述Lambda函数
4. 配置Firehose的S3动态分区，使用!{partitionKeyFromQuery:table_name}作为分区键，前缀设置为dynamo-backup/table_name=

优点：仅需维护单条Firehose流，适合大量表的场景，分区逻辑灵活
缺点：需要编写并维护Lambda预处理逻辑，增加了一层故障点

方案3：简化版动态分区（复用原始事件属性） #

无需修改记录结构，可在Lambda预处理中直接将解析出的表名映射为Firehose可识别的查询字段。例如在Lambda中处理时，将表名存入记录的metadata字段，然后在Firehose动态分区配置中使用!{partitionKeyFromQuery:metadata.table_name}作为分区键。这种方式省去了修改顶层结构的步骤，但需要确保Lambda输出的结构符合Firehose的查询语法要求。

• 无论采用哪种方案，都要确保Firehose拥有访问Kinesis流、S3桶以及Lambda（如果使用）的必要IAM权限
• 测试时可以先发送少量数据到S3，验证路径是否符合预期
• 对于大规模数据备份，建议开启Firehose的压缩功能（如GZIP）以节省S3存储成本

内容的提问来源于stack exchange，提问作者Karmesh Duggar