插入JSON到MongoDB触发pymongo.errors.BulkWriteError的原因排查

我之前处理过不少MongoDB批量插入的问题，你遇到的这个pymongo.errors.BulkWriteError加上仅插入单行的情况，大概率是这几个环节出了问题，咱们一步步来排查和解决：

1. 先搞清楚BulkWriteError的具体原因 #

这个错误本身会携带非常详细的错误明细，但很多人会忽略它。你需要先捕获并打印错误详情，这是定位问题的核心：

from pymongo.errors import BulkWriteError

try:
    # 你的批量插入代码
    your_collection.insert_many(processed_docs)
except BulkWriteError as bwe:
    print("批量写入错误详情：")
    print(bwe.details)

比如，你可能会看到duplicate key error（重复键冲突）、validation failed（文档不符合集合验证规则）或者某个字段格式错误的提示，这些信息直接指向问题根源。

2. 检查JSON解析逻辑是否错误 #

你提到“将不规范的JSON添加到列表后使用json.loads处理”，这里很可能是处理方式不对：

• 错误做法：把整个列表的JSON字符串拼接成一个大字符串再调用json.loads，这样要么直接报错，要么只会解析出一个包含数组的对象，而非多个独立文档。
• 正确做法：遍历每个不规范的JSON条目，单独解析后加入列表：

import json

processed_docs = []
# 假设raw_json_lines是你收集的不规范JSON行列表
for line in raw_json_lines:
    try:
        # 先做简单清洗，比如替换单引号为双引号、去除多余空格
        cleaned_json = line.strip().replace("'", '"')
        # 单独解析每一行
        doc = json.loads(cleaned_json)
        processed_docs.append(doc)
    except json.JSONDecodeError as e:
        print(f"解析失败的JSON行：{line}")
        print(f"错误原因：{e}")

这样处理后，processed_docs才会是多个字典组成的列表，适合批量插入。

3. 确认插入方法是否用错 #

你描述“仅将单行数据插入单个文档”，这很可能是误用了插入方法：

• 如果你用的是insert_one()而不是insert_many()，哪怕传入的是列表，也只会插入第一个元素（或者直接报错，取决于pymongo版本）；
• 确认你调用的是your_collection.insert_many(processed_docs)，并且processed_docs确实是字典的列表，而非单个字典。

4. 验证处理后的数据结构 #

在插入前，先打印一下处理后的数据，确认结构正确：

print(f"待插入文档总数：{len(processed_docs)}")
print("前2个文档示例：")
for doc in processed_docs[:2]:
    print(doc)
    print("---")

如果总数是1，说明你的JSON解析步骤只生成了一个文档，那就要回头检查原始JSON的格式，比如是不是所有内容都被解析成了一个大对象，而非多个独立的JSON对象。

5. 检查MongoDB集合的验证规则 #

如果你的集合设置了自定义的文档验证规则（比如要求某些字段必须存在、字段类型必须是特定类型），不符合规则的文档会导致批量插入失败。此时BulkWriteError的详情会明确指出验证失败的字段和原因，你需要调整文档结构或者修改集合的验证规则。

按照这个顺序排查，应该能很快找到问题所在并解决。

内容的提问来源于stack exchange，提问作者aquatic7