如何用Node.js数据流将路径数组追加写入JSON/TXT文件？

针对你这种需要逐个获取路径并追加到JSON数组的场景，直接修改文件的特定位置比每次读取整个文件再写入要高效得多，尤其是当路径数量庞大时。下面分两种场景给出实现方案：

场景1：已知初始文件结构（{"data":[]}），逐个追加路径 #

核心思路是：利用文件系统的定位写入能力，找到JSON数组的闭合括号]位置，截断文件到该位置前，然后追加新路径（注意第一个路径不需要前置逗号），最后补回闭合括号。

代码实现 #

const fs = require('fs').promises;
const path = require('path');

// 初始化文件（如果不存在则创建）
async function initFile(filePath) {
  try {
    await fs.access(filePath);
    // 检查文件内容是否符合预期
    const content = await fs.readFile(filePath, 'utf8');
    if (content.trim() !== '{"data":[]}') {
      throw new Error('初始文件格式不符合要求');
    }
  } catch (err) {
    if (err.code === 'ENOENT') {
      // 文件不存在，创建初始内容
      await fs.writeFile(filePath, '{"data":[]}', 'utf8');
    } else {
      throw err;
    }
  }
}

// 逐个追加路径到文件
let isFirstPath = true;
async function appendPathToFile(filePath, newPath) {
  const fileHandle = await fs.open(filePath, 'r+'); // 以读写模式打开
  try {
    const stats = await fileHandle.stat();
    const fileSize = stats.size;

    // 定位到闭合括号']'的位置（原文件最后一个字符）
    await fileHandle.truncate(fileSize - 1); // 截断到']'之前

    // 写入路径：第一个路径直接写，后续路径加前置逗号
    const pathStr = isFirstPath ? `"${newPath}"` : `, "${newPath}"`;
    await fileHandle.write(pathStr, undefined, 'utf8');

    // 补回闭合括号
    await fileHandle.write(']', undefined, 'utf8');

    isFirstPath = false;
  } finally {
    await fileHandle.close();
  }
}

// 模拟walkdir的使用场景
async function main() {
  const filePath = path.resolve('C:\\test\\data.json');
  await initFile(filePath);

  // 模拟逐个获取路径（实际替换为walkdir的回调）
  const paths = ["C:\\path1", "C:\\path2", "C:\\path3"];
  for (const p of paths) {
    await appendPathToFile(filePath, p);
    console.log(`已追加路径：${p}`);
  }
}

main().catch(err => console.error(err));

场景2：使用数据流处理（适合超大量路径） #

如果路径数量极大，担心频繁打开关闭文件影响性能，可以保持文件的读写状态，配合定位逻辑逐个写入：

代码实现 #

const fs = require('fs');
const path = require('path');

async function main() {
  const filePath = path.resolve('C:\\test\\data.json');
  // 初始化文件
  if (!fs.existsSync(filePath)) {
    fs.writeFileSync(filePath, '{"data":[]}', 'utf8');
  }

  const fileHandle = await fs.promises.open(filePath, 'r+');
  let stats = await fileHandle.stat();
  let isFirstPath = true;

  // 模拟walkdir的回调（实际项目中替换为你的walkdir逻辑）
  async function handlePath(newPath) {
    // 截断到']'之前
    await fileHandle.truncate(stats.size - 1);
    // 写入路径
    const pathStr = isFirstPath ? `"${newPath}"` : `, "${newPath}"`;
    await fileHandle.write(pathStr, undefined, 'utf8');
    // 补回']'
    await fileHandle.write(']', undefined, 'utf8');
    // 更新文件大小（后续截断需要）
    stats = await fileHandle.stat();

    isFirstPath = false;
  }

  // 模拟逐个获取路径
  const paths = ["C:\\path1", "C:\\path2", "C:\\path3"];
  for (const p of paths) {
    await handlePath(p);
    console.log(`已追加路径：${p}`);
  }

  await fileHandle.close();
}

main().catch(err => console.error(err));

关键注意事项 #

• 并发控制：如果你的walkdir是异步并发获取路径，一定要用队列（比如p-queue这类工具）来控制写入顺序，避免多个写入操作同时修改文件导致内容错乱。
• 路径转义：确保传入的路径字符串已经正确转义反斜杠（比如"C:\\path1"），否则会导致JSON格式错误。
• 异常处理：实际项目中要增加更多错误捕获逻辑，比如文件写入失败、权限不足、文件格式异常等情况。

内容的提问来源于stack exchange，提问作者Un1