使用Typescript解析25MB JSON文件耗时久/超时，如何优化代码效率？

• 数组重复遍历：现有代码对全量数据执行3次独立filter操作，数据量级大时冗余遍历开销会成倍放大
• 常量重复计算：每次比对筛选条件时都重复执行accountSearchCriteria.name.toLowerCase()这类固定值的转换操作，属于无意义的性能损耗
• 同步IO阻塞：使用fs.readFileSync同步读取文件，大文件读取时会阻塞整个事件循环，拉长整体耗时
• 全量加载开销：一次性将整个25MB的JSON全部解析进内存后再处理，内存占用高，大体积JSON的全量解析本身耗时也更长
• 函数返回值不匹配：声明返回Promise<Account[]>但实际直接返回数组，不符合类型定义，属于潜在风险点

无依赖低成本改造 #

仅修改现有代码逻辑即可获得明显性能提升，核心思路是减少遍历次数、消除重复计算：

import fs from 'fs/promises'; // 改用异步fs API

interface Account {
  firstName: string;
  lastName: string;
  country: string;
  mfa: string;
  dob: string;
  [key: string]: any;
}

interface AccountSearchCriteria {
  country?: string;
  mfa?: string;
  name?: string;
  sortField?: keyof Account;
}

async function searchAccounts(): Promise<Account[]> {
  const accountSearchCriteria: AccountSearchCriteria = {
    country: 'NZ',
    mfa: 'SMS',
    name: 'TEST',
    sortField: 'dob'
  };
  const jsonPath = './src/file.json';
  // 提前计算所有常量，避免循环中重复计算
  const targetName = accountSearchCriteria.name?.toLowerCase() || '';
  const targetCountry = accountSearchCriteria.country?.toLowerCase() || '';
  const targetMfa = accountSearchCriteria.mfa || '';
  const sortField = accountSearchCriteria.sortField;

  // 改用异步读文件，避免阻塞事件循环
  const rawAccounts = await fs.readFile(jsonPath, 'utf-8');
  let accounts: Account[] = JSON.parse(rawAccounts);

  if (accountSearchCriteria) {
    // 合并3次filter为1次遍历
    accounts = accounts.filter(account => {
      let match = true;
      if (targetName) {
        match = account.firstName.toLowerCase() === targetName || account.lastName.toLowerCase() === targetName;
      }
      if (match && targetCountry) {
        match = account.country.toLowerCase() === targetCountry;
      }
      if (match && targetMfa) {
        match = account.mfa === targetMfa;
      }
      return match;
    });

    // 优化排序逻辑，处理相等场景避免无意义交换
    if (sortField) {
      accounts.sort((a, b) => {
        if (a[sortField] < b[sortField]) return -1;
        if (a[sortField] > b[sortField]) return 1;
        return 0;
      });
    }
  }

  return accounts;
}

更高阶优化（适用于更大体积文件） #

如果后续文件体积还会增长，可采用流式解析方案：

• 使用流式JSON解析库，边读取文件流边解析数组元素，匹配筛选条件就保留，不匹配直接丢弃，不需要把整个JSON加载到内存，能大幅降低内存占用和处理耗时
• 如果JSON文件是定期更新而非实时生成的，可以提前按常用筛选字段（如country、mfa）建立索引，或者提前按常用排序字段预排序，查询时直接走索引无需全量扫描

内容的提问来源于stack exchange，提问作者basel.ai