MongoDB导入JSON数组遇重复_id及文档缺失问题求助

问题核心 #

• MongoDB Compass导入JSON时，因顶层_id重复直接触发错误中断
• 使用mongoimport命令时，--stopOnError参数导致遇到第一个重复_id就停止导入，后续文档全部被跳过，这是文档缺失的直接原因

解决步骤 #

1. 调整mongoimport命令，跳过重复项继续导入 #

移除--stopOnError，改用--continueOnError，同时保留--upsertFields _id处理重复逻辑（如需更新重复文档内容）。调整后的命令：

mongoimport D:\DimplomaThesis_data\transfer_json\180000-190000.json -d diplomovka -c transfer --jsonArray --continueOnError --maintainInsertionOrder --upsertFields _id

• 说明：--continueOnError会让工具遇到重复_id时跳过当前文档，继续导入后续内容；若只想跳过重复项、不更新已有文档，可去掉--upsertFields _id，或添加--mode insert参数。

2. 批量处理30个JSON文件 #

用Windows批处理命令遍历目录下所有JSON文件，一次性完成导入：

for %f in (D:\DimplomaThesis_data\transfer_json\*.json) do mongoimport "%f" -d diplomovka -c transfer --jsonArray --continueOnError --maintainInsertionOrder --upsertFields _id

• 注意：如果是在.bat脚本中执行，需将%f改为%%f。

3. 预处理JSON文件（彻底规避重复_id，可选） #

若不需要保留原始顶层_id，可批量删除该字段，让MongoDB自动生成唯一_id：
用Python脚本遍历处理所有文件：

import json
import os

input_dir = r"D:\DimplomaThesis_data\transfer_json"

for filename in os.listdir(input_dir):
    if filename.endswith(".json"):
        file_path = os.path.join(input_dir, filename)
        with open(file_path, 'r', encoding='utf-8') as f:
            data = json.load(f)
        # 删除每个文档的顶层_id字段
        for doc in data:
            doc.pop("_id", None)
        # 保存修改后的文件（可选择覆盖或重命名）
        with open(file_path, 'w', encoding='utf-8') as f:
            json.dump(data, f, ensure_ascii=False, indent=2)

处理完成后再执行mongoimport，即可避免所有重复_id问题。

4. 验证导入结果 #

导入完成后，用以下命令核对文档总数：

mongo "mongodb://localhost:27017/diplomovka" --eval "db.transfer.countDocuments()"

也可直接在MongoDB Compass中查看集合文档数量，对比原始JSON文件的总记录数。

内容的提问来源于stack exchange，提问作者Hextall_25