Node.js双应用无法并发访问文件：日志消费异常求助

嘿，这个问题我之前做类似磁盘队列的时候也踩过坑！你遇到的核心矛盾点在于rotating-file-stream的文件轮转机制和Node.js文件监听工具的默认行为不匹配，而系统自带的tail -f是基于系统级的文件变化监听（比如Linux的inotify、macOS的FSEvents），并且会自动追踪文件inode的变化，所以能跟上日志的实时变更。

先把底层逻辑理清楚：

• rotating-file-stream在触发轮转时，会把当前日志文件重命名（比如app.log→app.log.1），然后新建一个全新的app.log继续写入。
• 你之前用fs.watch或chokidar监听单个文件的话，原文件被重命名/替换后，监听绑定的是旧文件的inode，新创建的app.log并没有被纳入监听范围，自然收不到变更事件。
• 另外，rotating-file-stream默认会有写入缓存，日志内容没有即时flush到磁盘，也会导致监听工具“看不到”新内容。

1. 调整生产者配置，确保日志即时落地 #

先从源头解决缓存问题，让日志尽快写入磁盘：

const rfs = require('rotating-file-stream');
const logStream = rfs.createStream('app.log', {
  size: '10M',       // 按文件大小轮转
  interval: '1d',    // 按时间轮转
  path: './logs',
  flushInterval: 100, // 每100ms强制flush缓存到磁盘
  flags: 'a',        // 追加模式，避免写入覆盖
  autoClose: false   // 减少文件频繁开闭的开销
});

2. 消费者监听整个日志目录，自动追踪新文件 #

不要只盯着单个日志文件，而是监听存放日志的目录，这样轮转产生的新文件能被自动捕获：
用chokidar实现的示例：

const chokidar = require('chokidar');
const fs = require('fs');

// 监听日志目录
const watcher = chokidar.watch('./logs', {
  ignoreInitial: true,       // 忽略初始已存在的文件
  awaitWriteFinish: {        // 等待写入完成再触发事件，避免读取不完整内容
    stabilityThreshold: 200,
    pollInterval: 100
  }
});

// 存储当前正在监听的日志文件和读取位置
const activeTails = new Map();

// 新文件创建（轮转后的日志文件）时，开始追踪
watcher.on('add', (filePath) => {
  // 只监听目标日志文件（比如匹配app.log开头的）
  if (filePath.endsWith('app.log')) {
    startTailing(filePath);
  }
});

// 现有文件变更时，读取新增内容
watcher.on('change', (filePath) => {
  if (activeTails.has(filePath)) {
    const lastPos = activeTails.get(filePath);
    readNewContent(filePath, lastPos);
  }
});

// 初始化文件追踪，记录当前读取位置
function startTailing(filePath) {
  fs.stat(filePath, (err, stats) => {
    if (err) return;
    const startPos = stats.size;
    activeTails.set(filePath, startPos);
    readNewContent(filePath, startPos);
  });
}

// 读取文件新增内容并处理
function readNewContent(filePath, startPos) {
  fs.stat(filePath, (err, stats) => {
    if (err) {
      // 文件被轮转删除，移除监听记录
      activeTails.delete(filePath);
      return;
    }
    if (stats.size > startPos) {
      const stream = fs.createReadStream(filePath, { start: startPos });
      stream.on('data', (chunk) => {
        // 这里写你的日志处理逻辑，比如解析后放入队列
        processLogLine(chunk.toString());
        // 更新最后读取位置
        activeTails.set(filePath, startPos + chunk.length);
      });
      stream.on('end', () => {
        // 延迟100ms再检查，避免频繁IO
        setTimeout(() => readNewContent(filePath, activeTails.get(filePath)), 100);
      });
    } else {
      setTimeout(() => readNewContent(filePath, startPos), 100);
    }
  });
}

function processLogLine(line) {
  // 替换成你的业务逻辑
  console.log('Received log:', line.trim());
}

3. 用tail库的正确配置自动处理文件轮转 #

如果你想用现成的tail库，一定要开启follow和retry选项，让它自动适配文件轮转：

const Tail = require('tail').Tail;

const tail = new Tail('./logs/app.log', {
  follow: true,       // 持续追踪文件
  retry: true,        // 文件被删除/替换后自动重试连接
  useWatchFile: false // 使用系统级监听而非轮询，提升效率
});

tail.on('line', (line) => {
  // 处理日志行
  processLogLine(line);
});

tail.on('error', (err) => {
  console.error('Tail error:', err);
});

• 必须监听目录而非单个文件，否则轮转后会丢失监听。
• 若在Windows系统运行，可能需要把chokidar的usePolling设为true，适配Windows的文件监听机制。
• 可以根据业务需求调整flush间隔和轮询间隔，平衡性能和实时性。

内容的提问来源于stack exchange，提问作者Jitendra Bothra