AWS Firehose对接Elasticsearch：单条记录转多条ES条目是否可行？

你提出的使用Firehose转换Lambda实现单条输入拆分为多条Elasticsearch文档的方案完全可行，这是Firehose数据转换原生支持的能力，不需要额外配置。

你写的伪代码逻辑方向正确，但有两处细节错误需要调整：

1. 你把base64解码后的字符串直接当做对象使用，没有做JSON反序列化，会导致读取es_documents字段失败
2. map遍历的返回值写错，当前返回的是request_logged_at赋值操作的返回值，不是完整的文档对象

修正后的转换Lambda代码如下：

exports.handler = (event, context, callback) => {
    const output = event.records.map(record => {
        try {
            // 解码并反序列化输入数据
            const myDoc = JSON.parse(Buffer.from(record.data, 'base64').toString('utf8'));
            // 生成带公共字段的多个文档
            const docsToElastic = myDoc.es_documents.map(doc => {
                // 合并公共字段，不修改原对象
                return {
                    ...doc,
                    request_logged_at: myDoc.request_logged_at
                };
            });
            // 拼接所有文档JSON为单个字符串
            const serializedDocs = docsToElastic.map(doc => JSON.stringify(doc)).join('');
            // 编码为base64返回
            return {
                recordId: record.recordId,
                result: 'Ok',
                data: Buffer.from(serializedDocs, 'utf8').toString('base64')
            };
        } catch (e) {
            // 处理异常，避免整批数据失败
            return {
                recordId: record.recordId,
                result: 'ProcessingFailed',
                data: record.data
            };
        }
    });
    callback(null, { records: output });
};

• 多个序列化后的JSON不需要加任何分隔符，Firehose会自动识别连续的JSON对象，分别投递到Elasticsearch生成独立文档
• 如果需要为每条文档指定Elasticsearch索引、文档ID、路由键等元数据，可以在生成的doc中添加对应的字段，在Firehose的Elasticsearch目标配置中指定字段映射即可
• 转换Lambda会按批次接收Firehose的输入记录，建议遍历所有event.records处理，不要只取第一条，避免遗漏数据
• 这个方案完全符合职责拆分的要求，上游Lambda只需要负责业务校验和标准化数据写入，下游ES的格式适配完全在转换层处理，后续ES结构调整不需要修改上游逻辑

内容的提问来源于stack exchange，提问作者Cologne_Muc