如何在AWS Lambda执行返回前强制Winston刷新日志到Datadog

原有实现失效原因 #

你的代码无法生效的核心原因是：Winston的finish事件仅表示日志已经全部递交给了配置的传输器（Transport）缓冲区，不代表传输器已经完成了向Datadog的网络发送请求。你调用的logger.end()和logger.close()仅停止接收新日志，不会等待传输层的异步IO任务完成，而Lambda的async handler默认在return后会立即冻结执行环境，未完成的网络请求就会被中断。

可行解决方案 #

方案1：配置callbackWaitsForEmptyEventLoop + 等待传输器刷写（改动最小） #

Lambda提供了context.callbackWaitsForEmptyEventLoop配置项，显式设置为true后，就算async handler返回了结果，Lambda也会等待事件循环中的所有异步任务执行完成后再冻结执行环境。
同时需要修改日志关闭逻辑，等待Winston的Datadog传输器完成所有日志的刷写后再resolve：

async function handler (event, context): Promise<FormattedJSONResponse> {
    // 关键配置：允许Lambda等待事件循环清空后再终止
    context.callbackWaitsForEmptyEventLoop = true
    const logger = getLogger()
    // 执行业务逻辑
    await closeLogger(logger)
    return awsResponse
}

async function closeLogger (logger: Logger): Promise<void> {
    // 先等待所有Datadog传输器完成异步刷写
    for (const transport of logger.transports) {
        if (typeof transport.flush === 'function') {
            // 主流Datadog Winston传输包均实现了flush异步方法
            await transport.flush()
        }
    }
    return new Promise((resolve) => {
        logger.on('finish', resolve)
        logger.end()
    })
}

方案2：使用Datadog Lambda扩展（最推荐） #

该方案不需要修改业务日志逻辑，也不会因为日志发送增加Lambda的业务执行时长：

1. 给Lambda函数添加对应Node.js版本的Datadog官方Lambda层
2. 修改Winston配置，将日志输出到stdout/stderr，不需要直接向Datadog API发送请求
   Datadog扩展是运行在Lambda执行环境的独立进程，handler返回响应后扩展进程依然会继续运行，完成所有日志的收集和上报，完全避免了handler返回时日志未发送完成的问题。

方案3：改用回调形式的Handler #

如果不想使用async handler，可以改用回调形式的实现，所有日志发送完成后再调用callback返回响应：

function handler (event, context, callback) {
    context.callbackWaitsForEmptyEventLoop = true
    const logger = getLogger()
    // 执行业务逻辑
    closeLogger(logger).then(() => {
        callback(null, awsResponse)
    })
}

注意事项 #

• Node.js 12已经停止官方维护，有条件的话建议升级到更高的Node.js LTS版本，避免底层runtime的异步任务处理异常
• 如果你使用的是自定义的Winston Datadog传输实现，需要确保它的flush方法会等待所有待发送的网络请求完成后再resolve

内容的提问来源于stack exchange，提问作者Hugo Marcelino