Dexie.js如何导入无法全量载入内存的普通JSON文件

Dexie原生提供的db.import()方法仅适配自身导出的带元数据的专属备份格式，无法直接识别通用JSON结构。针对无法全量载入内存的超大JSON文件，采用流式解析+分块批量写入+长事务包裹的方案即可实现低内存占用的高效导入，不需要把整个文件读入内存。

实现步骤 #

• 替换全量JSON解析逻辑：使用支持流式逐元素解析的JSON解析工具，全程只在内存中保留当前读取的文件块和待写入的单批数据，从根源避免内存溢出。浏览器环境可使用@streamparser/json，Node.js环境可搭配JSONStream或内置stream模块实现逐块解析。
• 控制批量写入粒度：根据单条数据大小设置单批写入阈值，常规业务数据建议设置为1000-10000条/批，保证单批数据内存占用不超过10MB，累计到阈值就触发一次bulkAdd，写入完成后立刻清空临时缓存。
• 用长事务包裹所有写入操作：把所有分块的bulkAdd放到同一个读写事务中执行，相比逐批单独创建事务，写入性能可提升5-10倍。

参考实现代码（浏览器端本地文件导入场景） #

import { parser } from '@streamparser/json';
// 引入你项目中初始化好的Dexie实例
import db from './db';

/**
 * 大体积JSON流式导入Dexie
 * @param {File} jsonFile  input选择的本地JSON文件，要求根结构为数组
 * @param {string} tableName 要写入的Dexie表名
 * @param {number} batchSize 单批写入条数，默认2000
 */
async function streamImportLargeJson(jsonFile, tableName, batchSize = 2000) {
  const fileReader = jsonFile.stream().getReader();
  // 配置解析器，只提取根数组下的每个独立元素
  const jsonParser = parser({ paths: ['$.*'] });
  let writeBuffer = [];
  let importedCount = 0;

  // 开启长事务覆盖所有批量写入操作
  await db.transaction('rw', db[tableName], async () => {
    // 逐块读取文件并解析
    while (true) {
      const { done, value } = await fileReader.read();
      if (done) break;
      jsonParser.write(value);

      // 处理解析出的单个元素
      let parsedItem;
      while ((parsedItem = jsonParser.read()) !== null) {
        writeBuffer.push(parsedItem.value);
        // 缓存达到批次大小就执行写入
        if (writeBuffer.length >= batchSize) {
          await db[tableName].bulkAdd(writeBuffer);
          importedCount += writeBuffer.length;
          writeBuffer = [];
        }
      }
    }

    // 写入最后剩余不足一批的数据
    if (writeBuffer.length) {
      await db[tableName].bulkAdd(writeBuffer);
      importedCount += writeBuffer.length;
    }
  });

  return importedCount;
}

注意事项 #

1. 如果你的JSON文件根结构不是数组，只需要调整解析器的paths匹配规则，匹配到你要导入的数组节点即可，后续写入逻辑不需要改动
2. 不要在每批bulkAdd执行后主动提交事务，长事务的IO开销远低于频繁创建提交短事务的开销
3. 如果单条数据体积较大（比如包含base64资源），可适当调小batchSize参数，避免单批数据占用内存过高
4. 需要展示导入进度时，可在每次批量写入完成后，用已写入条数结合文件大小估算进度，不需要提前读取全量文件统计总条数

内容的提问来源于stack exchange，提问作者tnyN