MongoDB批量导入36000个JSON文件：选Python还是mongoimport？

一、直接用mongoimport批量处理（推荐，效率更高） #

mongoimport是MongoDB官方提供的导入工具，专门针对批量数据导入做了优化，处理36000个文件的速度会比Python循环快很多，优先推荐这种方式。

实现步骤： #

1. 导出文件路径到文本文件
   从你的DataFrame里把所有JSON文件路径导出成每行一个路径的txt文件，用Python一行代码就能搞定：

   import pandas as pd
   # 假设你的DataFrame叫df，存储路径的列名是'file_path'
   df['file_path'].to_csv('file_paths.txt', header=False, index=False)
   

2. 批量执行mongoimport
   根据你的操作系统选择对应的命令：

   • Windows系统（批处理脚本）：
     创建一个.bat文件，填入以下内容（替换成你的MongoDB路径、数据库名和集合名）：

     @echo off
     set "mongoimport=C:\MongoDB\bin\mongoimport.exe"
     set "db=你的数据库名"
     set "col=你的集合名"
     
     for /f "delims=" %%i in (file_paths.txt) do (
         "%mongoimport%" --db %db% --collection %col% --file "%%i" --jsonArray
     )
     

     注意：如果你的JSON文件是每行一个独立JSON对象（不是数组格式），就去掉--jsonArray参数。

   • Linux/macOS系统（终端命令）：
     用xargs批量执行，效率更高：

     xargs -a file_paths.txt -I {} mongoimport --db 你的数据库名 --collection 你的集合名 --file {} --jsonArray
     

     同样，根据JSON格式决定是否保留--jsonArray。

二、用Python实现（灵活，适合需要预处理的场景） #

如果导入前需要对JSON数据做修改、过滤等操作，用Python实现会更灵活，有两种方式可选：

1. Python调用mongoimport命令 #

用subprocess模块循环调用官方工具，兼顾效率和灵活性：

import pandas as pd
import subprocess

# 替换成你的实际路径和名称
mongoimport_path = r'C:\MongoDB\bin\mongoimport.exe'  # Linux/macOS改为'/usr/local/bin/mongoimport'
db_name = '你的数据库名'
collection_name = '你的集合名'

# 假设你的DataFrame已经加载好了，这里直接用
df = pd.read_csv('你的DataFrame文件路径.csv')  # 如果是内存里的DataFrame就跳过这行

for _, row in df.iterrows():
    file_path = row['file_path']
    cmd = [
        mongoimport_path,
        '--db', db_name,
        '--collection', collection_name,
        '--file', file_path,
        '--jsonArray'  # 根据JSON格式调整
    ]
    try:
        subprocess.run(cmd, check=True, capture_output=True, text=True)
        print(f"✅ 导入成功: {file_path}")
    except subprocess.CalledProcessError as e:
        print(f"❌ 导入失败 {file_path}: {e.stderr}")

2. 用pymongo直接读取插入 #

适合需要深度处理数据的场景，但性能比mongoimport差：

import pandas as pd
import pymongo
import json

# 连接MongoDB
client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['你的数据库名']
collection = db['你的集合名']

df = pd.read_csv('你的DataFrame文件路径.csv')

for _, row in df.iterrows():
    file_path = row['file_path']
    try:
        with open(file_path, 'r', encoding='utf-8') as f:
            data = json.load(f)
            # 根据数据类型选择插入方式
            if isinstance(data, list):
                collection.insert_many(data)
            else:
                collection.insert_one(data)
        print(f"✅ 导入成功: {file_path}")
    except Exception as e:
        print(f"❌ 导入失败 {file_path}: {str(e)}")

总结 #

• 无数据预处理需求：选mongoimport批量处理，速度快、资源占用低，是官方最优解。
• 需要修改/过滤数据：用Python实现，灵活度拉满。

内容的提问来源于stack exchange，提问作者Leo Torres