MongoDB中存储超过30MB的大型JSON数据的可行方案有哪些？

MongoDB单文档默认BSON大小限制为16MB，30MB的明文JSON超出该阈值才会触发写入拦截，以下是适配你的场景的落地方案： #

方案1：使用MongoDB GridFS存储（推荐，适配任意大小的返回数据） #

• GridFS是MongoDB官方提供的大文件存储能力，默认会把超过16MB的数据自动拆分为256KB的块分开存储，读取时自动拼接，完全不需要你自己处理拆分逻辑，也不需要适配第三方接口的字段变动。
• 落地逻辑：只需要在普通业务集合存储航班的核心检索字段（如航班号、请求时间、航司等你用于查询的字段）+ 对应GridFS文件的id，检索时先查业务集合拿到文件id，再从GridFS拉取完整原始数据即可。
• Mongoose对接示例代码：

const { GridFSBucket } = require('mongodb');
const mongoose = require('mongoose');

// 初始化GridFS存储桶
const flightDataBucket = new GridFSBucket(mongoose.connection.db, {
  bucketName: 'flightRawData'
});

// 写入数据逻辑
const saveRawFlightData = async (flightNo, rawApiResponse) => {
  return new Promise((resolve, reject) => {
    const uploadStream = flightDataBucket.openUploadStream(`flight_${flightNo}_${Date.now()}.json`, {
      metadata: { flightNo, requestTime: new Date() }
    });
    uploadStream.write(JSON.stringify(rawApiResponse));
    uploadStream.end((err, file) => {
      if(err) return reject(err);
      // 返回的file._id可存入业务集合关联
      resolve(file._id);
    });
  })
}

• 优势：完全兼容第三方接口的任意字段变动，官方原生支持稳定性高，支持存储GB级别的返回数据。

方案2：压缩后存入单文档（适合数据峰值不超过100MB的场景） #

• 纯文本JSON的压缩率通常可达80%_{90%，30MB的明文JSON用gzip压缩后基本在3}6MB，远低于16MB的单文档限制，可直接存入普通文档的Buffer字段，开发成本极低。
• 落地逻辑：写入前用zlib模块压缩JSON数据，读取后再解压还原即可，不需要改动原有存储结构。
• 示例代码：

const zlib = require('zlib');
const { promisify } = require('util');
const gzip = promisify(zlib.gzip);
const gunzip = promisify(zlib.gunzip);

// 写入时处理
const compressedData = await gzip(JSON.stringify(rawApiResponse));
await FlightModel.create({
  flightNo,
  requestTime: new Date(),
  rawData: compressedData // 对应Schema里该字段类型设为Buffer
})

// 读取时还原
const doc = await FlightModel.findOne({ flightNo });
const rawApiResponse = JSON.parse((await gunzip(doc.rawData)).toString());

• 优势：改动量极小，不需要引入额外存储结构，原有检索逻辑不需要调整；如果后续接口返回数据峰值超过100MB，压缩后仍可能超出16MB限制，需提前评估数据大小范围。

不推荐方案：调整BSON大小限制 #

MongoDB 4.4以上版本支持通过启动参数--maxBSONSize调高单文档最大大小，但该改动会影响整个实例的稳定性，且超16MB的文档会导致查询、索引性能大幅下降，非特殊情况不要使用。

内容的提问来源于stack exchange，提问作者Exoriri