使用Jupyter从MongoDB导入数据CPU占用过高，求提速方案

针对你遇到的内存充足但CPU拉满、导入耗时极长的问题，结合数据已建索引的前提，给你几个实用的优化方向：

• 批量读取减少交互开销
  MongoDB的游标默认每次返回的文档数量有限，频繁的客户端-服务器交互会导致CPU上下文切换浪费资源。可以给游标设置更大的批量大小，比如：

  from pymongo import MongoClient
  client = MongoClient()
  cursor = client.db.collection.find().batch_size(10000)  # 按需调整批量数，比如1万、5万
  

  这样能大幅减少请求次数，降低CPU的无效消耗。

• 只读取需要的字段（投影查询）
  从你的示例数据来看，文档有多个property字段，如果导入时不需要全部字段，一定要用投影过滤掉无关数据。比如只取property_a和property_b：

  cursor = client.db.collection.find({}, {"property_a": 1, "property_b": 1, "_id": 0})
  

  减少传输的数据量，CPU处理的内容也会少很多，直接提升导入速度。

• 利用并行处理充分榨干CPU
  你提到CPU占用100%-135%，大概率是单线程处理没用到多核资源。可以用dask这类并行数据处理库来拆分任务，比如：

  import dask.dataframe as dd
  df = dd.read_mongo(
      "db.collection",
      connection_kwargs={"host": "你的MongoDB地址"},
      chunksize=10000  # 按批次并行处理
  )
  # 转成pandas DataFrame（如果内存够的话）
  final_df = df.compute()
  

  这样能让多个CPU核心同时工作，把闲置的CPU资源利用起来，加快导入速度。

• 先导出本地文件再读取
  如果你的MongoDB是远程服务器，网络传输可能是隐形瓶颈。先用MongoDB官方工具把数据导出到本地：

  • 导出为CSV：mongoexport --db 数据库名 --collection 集合名 --out 本地文件.csv --fields property_a,property_b
  • 导出为BSON：mongodump --db 数据库名 --collection 集合名 --out 本地目录
    然后直接用pandas读取本地文件：pd.read_csv("本地文件.csv")，本地IO的效率远高于远程数据库查询，CPU也不用处理网络相关的开销。

• 检查查询是否真的用到了索引
  虽然你说已建索引，但最好确认查询计划是否真的命中索引。在MongoDB shell里执行：

  db.collection.find().explain("executionStats")
  

  查看executionStats.totalDocsExamined和executionStats.nReturned的数值，如果前者远大于后者，说明索引没生效，可能需要调整索引或者查询语句。另外也要检查MongoDB服务器的CPU负载，如果服务器那边CPU已经跑满，客户端这边再优化也没用，这时候可能需要给服务器扩容或者调整索引策略。

• 关闭Jupyter的实时预览
  Jupyter在读取数据时如果自动预览大数据集，会额外消耗CPU。建议先把数据读到变量里，不要中途打印或预览数据，比如避免在循环中print(doc)这类操作，等全部导入完成后再做数据查看。

内容的提问来源于stack exchange，提问作者user9238790