如何将AWS Lambda获取的请求体数据发送到AWS Firehose

完全可以实现，具体操作步骤如下：

前置准备 #

确认你已经提前在AWS控制台创建好了目标Kinesis Firehose交付流，配置好了对应的目标存储/服务（如S3、Redshift、OpenSearch等），且流状态为可用。

1. 配置Lambda执行角色的IAM权限 #

你需要先给Lambda函数关联的执行角色添加写入Firehose的权限，参考权限策略如下：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "firehose:PutRecord",
            "Resource": "arn:aws:firehose:<你的AWS区域>:<你的AWS账号ID>:deliverystream/<你的Firehose流名称>"
        }
    ]
}

替换策略中的占位符为你实际的资源信息即可。

2. 修改Lambda处理代码 #

Node.js环境的Lambda默认内置了AWS SDK v2，你可以直接引入使用，修改后的代码示例如下：

const AWS = require('aws-sdk');
// 初始化Firehose实例，区域和你创建的Firehose流区域保持一致
const firehose = new AWS.Firehose({ region: '<你的AWS区域>' });

exports.handler = async (event) => {
    try {
        // 构造写入Firehose的数据，转成Buffer格式，末尾加换行方便后续数据拆分
        const writeData = Buffer.from(JSON.stringify({
            requestTimestamp: Date.now(),
            requestBody: event.body,
            // 可选：同步存入Auth0返回的用户身份信息，按需调整
            userClaims: event.requestContext.authorizer?.jwt?.claims,
            requestId: event.requestContext.requestId
        }) + '\n');

        // 向Firehose提交数据
        await firehose.putRecord({
            DeliveryStreamName: '<你的Firehose流名称>',
            Record: {
                Data: writeData
            }
        }).promise();

        // 保留原有接口返回逻辑
        return {
            statusCode: 200,
            body: JSON.stringify(event.body)
        };
    } catch (error) {
        // 错误捕获处理，可按需调整返回逻辑
        console.error('写入Firehose失败：', error);
        return {
            statusCode: 500,
            body: JSON.stringify({ message: '服务内部错误' })
        };
    }
};

可选优化建议 #

• 若接口QPS较高，建议使用putRecordBatch接口批量提交多条请求数据，降低调用开销、提升写入吞吐量
• 若对接口响应延迟要求很高，可通过SQS异步中转写入逻辑，避免Firehose写入抖动影响接口返回速度
• 可根据业务需求补充更多维度的元数据（如客户端IP、请求路径、请求参数等）到写入内容中，方便后续数据分析使用

内容的提问来源于stack exchange，提问作者msd