Ruby脚本插入MongoDB遇MONGO::Error::MaxBSONSize问题求解

问题原因 #

MongoDB单文档默认最大BSON大小为16MB，你的JSON数组序列化后超出了这个阈值，因此触发MONGO::Error::MaxBSONSize错误。要保持1个JSON数组对应一个逻辑文档的结构，GridFS是适配的选择——它会自动将大内容拆分为小chunk存储，同时保留元数据，完美匹配你的需求。

Ruby中使用GridFS的步骤 #

1. 初始化GridFS客户端 #

先确保安装Mongo Ruby驱动：

gem install mongo

在脚本中初始化GridFS Bucket对象：

require 'mongo'
require 'json'

# 连接MongoDB客户端
client = Mongo::Client.new(['localhost:27017'], database: '你的数据库名')

# 初始化GridFS Bucket，默认使用"fs"集合前缀，也可自定义
bucket = client.database.fs

2. 将JSON数组写入GridFS #

把JSON数组序列化为字符串后写入GridFS，可自定义元数据（比如数组标识、批次ID等）方便后续检索：

# 示例大JSON数组（替换为你的实际数据）
large_json_array = [{"key1" => "value1"}, {"key2" => "value2"}, ...]

# 序列化为JSON字符串
json_string = JSON.generate(large_json_array)

# 写入GridFS并设置元数据
file_id = bucket.upload_from_string(
  json_string,
  filename: "array_doc_1.json", # 自定义文件名
  metadata: {type: "json_array", batch_id: "batch_001"} # 自定义元数据
)

puts "已写入GridFS，文件ID：#{file_id}"

3. 从GridFS读取JSON数组 #

通过文件ID或元数据查询，反序列化为JSON数组：

# 通过文件ID读取
file = bucket.find_one(_id: file_id)
if file
  json_string = file.download_to_string
  retrieved_array = JSON.parse(json_string)
  puts "读取到的JSON数组长度：#{retrieved_array.length}"
end

# 通过元数据批量查询（比如按批次ID）
files_cursor = bucket.find(metadata: {batch_id: "batch_001"})
files_cursor.each do |file|
  json_string = file.download_to_string
  target_array = JSON.parse(json_string)
  # 处理你的数组数据
end

4. 注意事项 #

• GridFS默认chunk大小为255KB，可在初始化Bucket时自定义：bucket = client.database.fs(chunk_size: 512 * 1024)（设置为512KB）
• 若需更新JSON数组，建议重新上传并删除旧文件，直接修改chunk操作复杂不推荐
• 元数据可灵活设置，便于快速定位目标JSON数组

内容的提问来源于stack exchange，提问作者JACKoJONS