Node/Express项目中如何在AWS.CloudWatch构造函数设置batch_size与batch_limit

前置说明 #

• 你当前初始化的AWS.CloudWatch是CloudWatch指标服务的客户端，不负责日志上报功能，日志上报需要使用AWS.CloudWatchLogs客户端
• 原生AWS SDK的CloudWatchLogs构造函数本身不直接暴露batch_limit和batch_size参数，批量上报的控制逻辑可以通过上层封装实现，或者使用成熟的日志传输中间件直接配置这两个参数

方案1：使用winston + winston-cloudwatch 日志库（Node.js上报CloudWatch日志最常用方案） #

该方案可以直接在配置项中设置批量大小和批次限制，不需要手动处理攒批逻辑：

1. 安装依赖

npm install winston winston-cloudwatch

2. 配置示例

const winston = require('winston');
const WinstonCloudWatch = require('winston-cloudwatch');

const logger = winston.createLogger({
  transports: [
    new WinstonCloudWatch({
      logGroupName: '你的日志组名称',
      logStreamName: '你的日志流名称',
      awsRegion: '你的AWS区域，例如ap-northeast-1',
      // 自定义批量配置
      batchSize: 100, // 单次上报的日志条目数，最大支持10000
      batchLimit: 5 * 1024 * 1024, // 单次上报的总大小上限，单位字节，最大支持5MB
      uploadRate: 2000, // 自动上报间隔，单位毫秒
    })
  ]
});

// 上报日志示例
logger.info('业务日志', { userId: 123, action: 'login' });

方案2：原生CloudWatchLogs SDK手动实现批量控制 #

如果不想引入第三方日志库，可以自行封装批量上报逻辑，示例代码如下：

const AWS = require('aws-sdk');
// 初始化CloudWatchLogs客户端
const cloudwatchlogs = new AWS.CloudWatchLogs({
  region: '你的AWS区域'
});

// 自定义批量配置
const BATCH_SIZE = 100; // 单批次最大日志条数
const BATCH_LIMIT = 5 * 1024 * 1024; // 单批次最大大小，单位字节
let logBuffer = [];
let bufferSize = 0;

// 封装日志添加方法
function sendLog(message, timestamp = Date.now()) {
  const logItem = {
    message: JSON.stringify(message),
    timestamp: timestamp
  };
  const itemSize = Buffer.byteLength(logItem.message) + 8; // 8字节为timestamp占用空间

  // 达到批次上限立即触发上报
  if (logBuffer.length + 1 > BATCH_SIZE || bufferSize + itemSize > BATCH_LIMIT) {
    flushLogs();
  }

  logBuffer.push(logItem);
  bufferSize += itemSize;
}

// 上报缓存中的日志
async function flushLogs() {
  if (logBuffer.length === 0) return;
  try {
    // 获取日志流sequenceToken，新日志流首次上报无需传
    const streamRes = await cloudwatchlogs.describeLogStreams({
      logGroupName: '你的日志组名',
      logStreamNamePrefix: '你的日志流名'
    }).promise();
    const sequenceToken = streamRes.logStreams[0]?.uploadSequenceToken;

    await cloudwatchlogs.putLogEvents({
      logEvents: logBuffer,
      logGroupName: '你的日志组名',
      logStreamName: '你的日志流名',
      sequenceToken: sequenceToken
    }).promise();
    // 清空缓存
    logBuffer = [];
    bufferSize = 0;
  } catch (err) {
    console.error('日志上报失败', err);
  }
}

// 进程退出前上报剩余缓存日志
process.on('SIGINT', async () => {
  await flushLogs();
  process.exit(0);
});

注意事项 #

• CloudWatch Logs对putLogEvents接口的官方限制为：单批次最多10000条日志，总大小最多5MB，你配置的batch_size和batch_limit不要超过该上限
• 日志的timestamp必须是过去14天到未来2小时以内的时间，否则会上报失败

内容的提问来源于stack exchange，提问作者Clement Okyere