如何用fs.readdir按顺序处理依赖数据库前置数据的文件？

你的代码核心问题是并发处理所有文件——forEach会一次性启动所有文件的读取和数据库操作，完全不等待前一个操作完成，这直接导致两个问题：

• 多个数据库操作同时争抢资源，触发死锁；
• 后一个操作需要读取的前一次插入数据还未写入完成，导致依赖逻辑失效。

原代码的具体问题点 #

• forEach不支持异步等待：哪怕你在end事件里加了await，forEach也不会等这个异步操作结束再处理下一个文件，所有文件的处理逻辑是并行执行的。
• processFileWithDatabaseOperations的Promise未正确收尾：函数里只处理了readFile的回调，但没调用resolve()或reject()，导致await永远挂起，后续逻辑彻底混乱。
• 重复读取文件：先用readStream读了一遍文件存到fileData，但processFile里又调用fs.readFile再读一次，完全冗余。

修正后的代码实现 #

主文件（按顺序逐个处理）

const fs = require('fs').promises; // 使用Promise版的fs API，简化异步逻辑
const Processes = require('./processes');

async function readFiles() {
  try {
    // 读取目录下的所有文件
    const files = await fs.readdir('path/to/folder');
    // 如果需要固定处理顺序，可先排序（比如按文件名排序）
    files.sort((a, b) => a.localeCompare(b));
    
    // 用for...of配合await，确保一个文件处理完再处理下一个
    for (const file of files) {
      const filePath = `path/to/folder/${file}`;
      await Processes.processFileWithDatabaseOperations(filePath);
      console.log(`文件 ${file} 处理完成`);
    }
    console.log('所有文件处理完毕');
  } catch (err) {
    console.error('读取目录或处理文件出错:', err);
  }
}

// 启动处理
readFiles();

processes.js（修正Promise逻辑+数据库异步等待）

const fs = require('fs').promises;

async function processFileWithDatabaseOperations(file) {
  try {
    // 读取文件内容
    const data = await fs.readFile(file, 'latin1');
    
    // 这里执行依赖前一次插入结果的数据库操作
    // 注意：所有数据库操作必须加await，确保操作完成后再进入下一个文件
    // 示例（假设用PostgreSQL的pg库）：
    // 1. 读取上一次插入的关键数据
    // const prevResult = await db.query('SELECT id FROM target_table ORDER BY id DESC LIMIT 1');
    // 2. 基于前一次结果插入新数据
    // await db.query('INSERT INTO target_table (prev_id, content) VALUES ($1, $2)', [prevResult.rows[0].id, data]);
    
    // 处理完成后返回，让await继续执行下一个文件
    return;
  } catch (err) {
    console.error(`处理文件 ${file} 失败:`, err);
    // 抛出错误，让主函数的try/catch捕获
    throw err;
  }
}

module.exports = { processFileWithDatabaseOperations };

关键注意事项 #

• 数据库操作必须异步等待：不管用什么数据库库，所有查询、插入、更新操作都要加await，确保操作完全完成后再处理下一个文件。
• 固定文件处理顺序：目录读取的文件顺序不一定固定，如果业务要求按特定顺序处理（比如按文件名、创建时间），一定要先对files数组排序。
• 避免资源泄漏：如果数据库有连接池，确保每次操作后正确释放连接（大部分现代库会自动处理，但要留意）。

内容的提问来源于stack exchange，提问作者Sam