Node.js 9下如何高效查询带时间戳的目录树（不加载全量到内存）

这个场景我之前处理过类似的——百万级目录直接用fs.readdir一次性加载绝对会把内存撑爆，得结合你的目录命名规则和异步流式遍历才能高效解决。下面分步骤给你讲具体实现：

核心思路 #

你的目录名自带精确时间信息，这是最大的优势：我们可以先把目录名解析为时间戳，再结合流式遍历（逐个加载目录条目，不一次性读入内存），在遍历过程中直接过滤出符合时间范围的目录，避免无效操作。

第一步：解析目录名的时间戳 #

目录名格式是2018-01-17-18:40:51.151343-1bb809，前半部分是标准的时间字符串。我们可以写一个函数把它转成可比较的时间戳：

function parseDirTimestamp(dirName) {
  // 拆分出时间核心部分：去掉最后的随机后缀
  const [year, month, day, timeWithUs] = dirName.split('-', 4);
  // 拆分时分秒和微秒（JS Date只支持毫秒，微秒取前三位转毫秒）
  const [hms, microseconds] = timeWithUs.split('.');
  const isoStr = `${year}-${month}-${day}T${hms}`;
  
  // 基础时间戳（毫秒）
  const baseTimestamp = new Date(isoStr).getTime();
  // 微秒转毫秒（取前三位）
  const msFromUs = Math.floor(parseInt(microseconds, 10) / 1000);
  
  return baseTimestamp + msFromUs;
}

这个函数能把目录名转成精确到毫秒的时间戳，完全满足时间范围$gte/$lte的比较需求。

第二步：流式遍历目录（避免内存溢出） #

Node.js 9原生没有内置流式目录遍历API，所以推荐用readdirp这个轻量库——它支持逐个读取目录条目，内存占用极低，而且兼容Node.js 8+。

首先安装依赖：

npm install readdirp@3.x

然后写遍历+过滤的核心代码：

const readdirp = require('readdirp');

async function queryEventsByTimeRange(rootDir, startTimeMs, endTimeMs) {
  const matchingDirs = [];

  // 配置readdirp：只遍历根目录下的一级目录，只处理目录类型
  const stream = readdirp(rootDir, {
    depth: 0,
    type: 'directory',
    alwaysStat: false // 不需要文件状态，节省IO资源
  });

  // 逐个处理目录条目
  stream.on('data', (entry) => {
    const dirTimestamp = parseDirTimestamp(entry.name);
    
    // 过滤时间范围
    if (dirTimestamp >= startTimeMs && dirTimestamp <= endTimeMs) {
      matchingDirs.push(entry.fullPath);
      // 这里可以直接执行目录处理逻辑，比如读取文件
      // await processEventFiles(entry.fullPath);
    }
  });

  // 等待遍历结束或出错
  await new Promise((resolve, reject) => {
    stream.on('end', resolve);
    stream.on('error', reject);
  });

  return matchingDirs;
}

// 使用示例
const t1 = new Date('2018-01-01').getTime();
const t2 = new Date('2018-02-01').getTime();

queryEventsByTimeRange('./events', t1, t2)
  .then((dirs) => console.log(`找到${dirs.length}个符合条件的目录`))
  .catch((err) => console.error('遍历出错:', err));

第三步：性能优化技巧 #

1. 提前终止遍历：如果你的目录是按时间顺序创建的（目录名字典序=时间序），可以在遇到第一个超过endTimeMs的目录时直接终止遍历，不用处理剩余目录：

   stream.on('data', (entry) => {
     const dirTimestamp = parseDirTimestamp(entry.name);
     if (dirTimestamp > endTimeMs) {
       stream.destroy(); // 终止遍历
       return;
     }
     if (dirTimestamp >= startTimeMs) {
       matchingDirs.push(entry.fullPath);
     }
   });
   

2. 批量处理：如果需要处理大量符合条件的目录，可以积累到一定数量（比如100个）再批量执行IO操作，减少系统调用开销。
3. 缓存时间戳：如果需要多次查询，可以把目录名和对应的时间戳存在Map里，避免重复解析。

原生方案的局限性 #

如果不想用第三方库，Node.js 9只能用fs.readdir结合util.promisify实现，但它会一次性加载所有目录名到内存——百万级目录会占用几十到几百MB内存，很容易触发内存溢出，所以不推荐这种方案。

内容的提问来源于stack exchange，提问作者Jarno