如何在Yii2中高效为MongoDB海量文档添加新属性？

核心问题1：索引类型错误 #

你给自定义标识符加的是文本索引，但文本索引是为全文搜索场景设计的，完全不适合你的精确匹配需求。精确匹配字段必须用单字段普通升序/降序索引——文本索引在精确匹配时不仅不会提速，反而会因为复杂的索引结构拖慢查询效率。赶紧删掉文本索引，给identifier字段创建普通单字段索引，这是提升匹配速度的关键。

核心问题2：批量更新的实现方式低效 #

你当前的批量更新逻辑是把10万条操作一次性塞进命令再执行，这会导致两个问题：

• PHP内存占用过高，处理大数组时性能下降；
• MongoDB一次性处理十万条操作，压力陡增，响应变慢。

正确的做法是分批次处理，比如每1000条作为一个批次执行批量写入，减少单次交互的数据量。同时要确保用$set操作符只更新目标字段，而不是替换整个文档——如果直接写['number' => $xxx]，Yii2可能会默认替换文档，这比仅更新单个字段慢得多。

优化后的代码示例：

$collection = Yii::$app->mongodb->getCollection('your_collection_name');
$batchSize = 1000;
$batch = [];
$file = fopen('your_data.csv', 'r');

// 跳过CSV表头（如果有这一行）
fgetcsv($file);

while (($row = fgetcsv($file)) !== false) {
    $identifier = trim($row[0]);
    $number = is_numeric($row[1]) ? (float)$row[1] : $row[1]; // 确保类型和MongoDB字段一致
    $batch[] = [
        'updateOne' => [
            ['identifier' => $identifier], // 匹配条件
            ['$set' => ['number' => $number]] // 仅更新指定字段
        ]
    ];

    // 达到批次大小就执行
    if (count($batch) >= $batchSize) {
        $collection->bulkWrite($batch);
        $batch = [];
    }
}

// 处理剩余的不足一批的记录
if (!empty($batch)) {
    $collection->bulkWrite($batch);
}

fclose($file);

其他可能的性能瓶颈 #

1. VirtualBox磁盘IO限制：虚拟机的虚拟磁盘IO性能远不如物理机，尤其是动态分配的虚拟磁盘。可以把MongoDB的数据目录挂载到宿主机的SSD上，或者将虚拟磁盘改为固定大小模式，减少IO延迟。
2. 无关索引的额外开销：你提到同时存在升序、降序、2dsphere索引，这些索引在更新文档时会被同步维护，额外消耗CPU和IO。在批量更新期间，可以暂时禁用这些无关索引，完成更新后再重新启用。
3. CSV读取效率：可以给fgetcsv设置更大的缓冲区参数，比如fgetcsv($file, 4096)，提升文件读取速度，减少等待时间。

内容的提问来源于stack exchange，提问作者user2511599