使用PyMongo向MongoDB插入文档时遇报错求助

嘿，我太懂你现在的挫败感了——明明把所有字段转成了字符串，还特意分块插2500条，结果还是卡在报错上，6万条37个字段的数据集属实让人头疼。虽然看不到具体报错信息和代码片段，但根据我处理过的大量类似场景，给你列几个最可能的排查方向和实锤解决方案：

• 先把报错抓全！这是关键第一步
  别让报错信息溜走，给你的插入逻辑套个异常捕获，把完整错误打出来：

  from pymongo.errors import PyMongoError
  
  try:
      # 你的分块插入代码
      collection.insert_many(batch_records)
  except PyMongoError as e:
      print(f"完整报错详情: {str(e)}")
  

  常见的坑比如DuplicateKeyError（主键重复）、InvalidDocument（字段名含./$这类MongoDB非法字符）、ConnectionTimeoutError（网络或服务超时），不同错误对应完全不同的解法。

• 排查文档格式的隐形问题
  就算全转成了str，也可能藏着坑：

  • 检查DataFrame的列名！MongoDB字段名不能有.和$，要是列名里有，批量替换掉：

    df.columns = df.columns.str.replace(r'[\.\$]', '_', regex=True)
    

  • 有没有把None转成了字符串"None"？如果不需要这种空值标记，提前处理成None（MongoDB会存为null），或者确认业务上允许这种字符串值。

• 优化分块插入的策略
  2500条的块大小可能还是超出了某些限制，试试这些调整：

  • 缩小块大小到1000甚至500条，有时候小批量反而更稳定
  • 给insert_many加ordered=False参数，这样单条记录出错不会中断整个批次，还能定位到出问题的那条：

    collection.insert_many(batch_records, ordered=False)
    

• 检查MongoDB连接和服务配置

  • 确认MongoDB服务在正常跑，连接字符串的主机、端口、权限都没错
  • 如果是远程MongoDB，大概率是网络超时，创建客户端时调整超时参数：

    from pymongo import MongoClient
    
    client = MongoClient(
        "mongodb://你的主机:端口/",
        serverSelectionTimeoutMS=5000,  # 服务选择超时
        socketTimeoutMS=30000  # 套接字超时
    )
    

• 换个思路：用Pandas原生方法写入
  有时候手动分块不如Pandas的to_mongo靠谱（记得确保pymongo和pandas版本兼容）：

  from pymongo import MongoClient
  import pandas as pd
  
  client = MongoClient("你的连接字符串")
  db = client["你的数据库名"]
  collection = db["你的集合名"]
  
  # 每1000条分一次写入
  chunksize = 1000
  for start in range(0, len(df), chunksize):
      chunk = df[start:start+chunksize]
      chunk.to_mongo(collection, orient='records', chunksize=chunksize, if_exists='append')
  

内容的提问来源于stack exchange，提问作者Mazahir Bhagat