MongoDB按销售月份拆分10亿+文档为12个集合的PHP高效方案问询

针对10亿+文档的MongoDB大集合按Month_of_sale拆分到12个月度集合的需求，下面给几个比手动单文档读写高效得多的方案，适配PHP环境：

一、批量迁移现有大集合 #

直接在数据库端处理数据迁移，比PHP循环读写快N倍，核心是减少网络IO和序列化开销：

1. 用聚合管道$out/$merge批量导出 #

MongoDB的聚合管道支持直接将匹配结果输出到目标集合，全程数据库内部操作，效率极高。

$mongodb = new MongoDB\Client();
$sourceColl = $mongodb->your_db->bigCollection;

// 遍历12个月份，逐个迁移
$validMonths = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'];
foreach ($validMonths as $month) {
    $pipeline = [
        ['$match' => ['Month_of_sale' => $month]],
        ['$out' => "{$month}Collection"] // 自动创建目标集合并写入数据
    ];
    $sourceColl->aggregate($pipeline);
}

如果怕单次聚合超时，或者后续还要同步新增数据，可以换成$merge代替$out，支持增量写入：

$pipeline = [
    ['$match' => ['Month_of_sale' => $month]],
    ['$merge' => [
        'into' => "{$month}Collection",
        'on' => '_id', // 用主键判断重复，避免重复插入
        'whenMatched' => 'replace', // 重复时替换或忽略，按需选择
        'whenNotMatched' => 'insert'
    ]]
];

2. mongodump+mongorestore命令行迁移 #

超大规模数据下，用MongoDB原生命令行工具做二进制导出导入，比PHP代码处理更快，适合一次性全量迁移。可以在PHP里通过exec调用：

$validMonths = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'];
$dbName = 'your_db';
$sourceColl = 'bigCollection';

foreach ($validMonths as $month) {
    // 导出当月数据到临时目录
    exec("mongodump --db {$dbName} --collection {$sourceColl} --query '{\"Month_of_sale\": \"{$month}\"}' --out ./temp_dump");
    // 导入到对应月度集合
    exec("mongorestore --db {$dbName} --collection {$month}Collection ./temp_dump/{$dbName}/{$sourceColl}.bson");
    // 清理临时文件
    exec("rm -rf ./temp_dump");
}

二、日常读写的高效优化 #

拆分后的日常操作，重点减少重复逻辑和网络请求：

1. 封装动态集合路由 #

不用每次手动拼接集合名，封装一个工具类自动根据Month_of_sale获取对应集合，避免拼写错误，简化代码：

class MongoMonthRouter {
    private $client;
    private $db;
    private $validMonths = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'];

    public function __construct(MongoDB\Client $client, string $dbName) {
        $this->client = $client;
        $this->db = $client->selectDatabase($dbName);
    }

    public function getCollection(string $month): MongoDB\Collection {
        if (!in_array($month, $this->validMonths)) {
            throw new InvalidArgumentException("Invalid month: {$month}");
        }
        return $this->db->selectCollection("{$month}Collection");
    }
}

// 使用示例
$router = new MongoMonthRouter($mongodb, 'your_db');
$janColl = $router->getCollection('Jan');
// 插入
$janColl->insertOne(['Month_of_sale' => 'Jan', 'order_id' => 'ORD123', ...]);
// 查询
$orders = $janColl->find(['customer_id' => 'CUST456']);

2. 批量操作代替单文档操作 #

不管是插入还是更新，尽量用insertMany、updateMany，减少网络请求次数。比如批量导入数据时，攒够1000条再提交：

$batchSize = 1000;
$batchData = [];

foreach ($newOrderData as $order) {
    $batchData[] = $order;
    if (count($batchData) >= $batchSize) {
        $month = $order['Month_of_sale'];
        $targetColl = $router->getCollection($month);
        $targetColl->insertMany($batchData);
        $batchData = [];
    }
}

// 处理剩余的少量数据
if (!empty($batchData)) {
    $month = $batchData[0]['Month_of_sale'];
    $targetColl = $router->getCollection($month);
    $targetColl->insertMany($batchData);
}

3. 给每个月度集合加索引 #

拆分后每个集合的查询效率依赖索引，根据业务常用查询字段，给每个月度集合创建对应索引：

$router = new MongoMonthRouter($mongodb, 'your_db');
$validMonths = ['Jan', 'Feb', 'Mar', 'Apr', 'May', 'Jun', 'Jul', 'Aug', 'Sep', 'Oct', 'Nov', 'Dec'];

foreach ($validMonths as $month) {
    $coll = $router->getCollection($month);
    // 按customer_id建索引，支持快速查询用户订单
    $coll->createIndex(['customer_id' => 1]);
    // 按order_date建索引，支持按日期范围查询
    $coll->createIndex(['order_date' => -1]);
}

三、关键注意事项 #

• 数据一致性：迁移期间如果源集合还有写入，要么停写，要么用$merge做增量同步，避免丢数据。
• 资源占用：批量迁移操作会占用数据库CPU和IO，建议在业务低峰期执行。
• 分片集群适配：如果用了分片，每个月度集合的分片键要选合理（比如order_date或customer_id），避免热点分片。

内容的提问来源于stack exchange，提问作者Brindha