如何高效处理file1行数据，通过file2的MD5哈希去重且不占内存

一、核心问题说明 #

纯文本格式的file2是线性存储结构，不加载整个文件到内存的话，每次哈希查询都需要遍历全量内容，时间复杂度为O(n)，无法实现O(1)级查询。要达成近似O(1)的高效查询，必须替换存储结构——用基于磁盘的键值数据库替代纯文本文件。

二、推荐方案：使用LevelDB嵌入式键值库 #

Node.js生态中的level库（基于LevelDB）是轻量级嵌入式键值存储，直接将数据存在磁盘文件中，支持O(1)级别的键查询，无需额外启动数据库服务，完全满足“不加载全量哈希字典到内存”的需求。

步骤1：安装依赖 #

npm install level

步骤2：完整实现代码 #

const readline = require('readline');
const crypto = require('crypto');
const fs = require('fs');
const level = require('level');

// 初始化LevelDB实例，数据会持久化到./processed_hashes目录
const db = level('./processed_hashes', { valueEncoding: 'utf8' });

// 流式读取file1
const filestream = fs.createReadStream('./file1.txt');
const reader = readline.createInterface({ input: filestream });

reader.on('line', async (line) => {
  // 计算当前行的MD5哈希（可根据需求决定是否trim行前后空格）
  const hash = crypto.createHash('md5')
    .update(line.trim())
    .digest('hex');

  try {
    // 查询哈希是否已存在，LevelDB的get操作是磁盘级O(1)查询
    await db.get(hash);
    console.log(`跳过重复行: ${line}`);
    return;
  } catch (err) {
    // 仅当哈希不存在时继续处理（捕获NotFoundError）
    if (err.type !== 'NotFoundError') throw err;
  }

  // 执行自定义文件处理逻辑
  if (Processor.normalizeFile(line)) {
    // 同时写入LevelDB和文本file2（文本仅作备份用）
    await Promise.all([
      db.put(hash, line),
      // 用appendFile避免覆盖原有内容，保持file2格式统一
      fs.promises.appendFile('./file2.txt', `"${hash}": "${line}"\n`)
    ]);
    console.log(`处理并记录行: ${line}`);
  }
});

// 处理流结束，关闭数据库连接
reader.on('close', async () => {
  await db.close();
  console.log('文件去重处理完成');
});

三、无第三方库替代方案（仅适合小体量数据） #

如果不想引入依赖，可将file2改为按哈希字典序排序的文本文件，通过二分查找实现O(logn)级查询（性能弱于LevelDB，但优于全量遍历）：

• 写入时：每次新增哈希行，先通过二分查找确定插入位置，保持文件有序
• 查询时：通过文件指针定位偏移量，分段读取实现二分查找

此方案实现复杂度高，仅适合数据量较小的场景，不推荐作为核心方案。

四、原代码的关键修复点 #

1. 原代码使用fs.writeFile会覆盖file2，需替换为fs.appendFile实现追加写入
2. 写入file2时需保持原有带引号的键值对格式，避免后续解析出错

内容的提问来源于stack exchange，提问作者but like