使用mongoimport导入CSV到MongoDB时避免覆盖已有字段的问题

一、跳过重复记录 #

如果只需要导入全新记录、完全跳过已存在（name+place匹配）的条目，按以下步骤操作：

1. 先给test集合的name和place创建复合唯一索引，让MongoDB能识别重复记录：

db.test.createIndex({name: 1, place: 1}, {unique: true})

2. 修改mongoimport命令，改用insert模式并添加跳过错误参数，遇到重复记录时直接跳过，不会改动原有数据：

mongoimport -h="127.0.0.1" --port=27017 --db=myapp -c=test --type=csv --mode=insert --continueOnError --file=test.csv --columnsHaveTypes --fields="name.string(),place.string(),designation.string()"

二、保留原有字段值（仅更新非空字段） #

如果需要对匹配到的记录，只更新CSV中非空的字段、保留原有字段的非空值，需要通过临时集合中转处理：

1. 先把CSV数据导入到临时集合test_temp：

mongoimport -h="127.0.0.1" --port=27017 --db=myapp -c=test_temp --type=csv --file=test.csv --columnsHaveTypes --fields="name.string(),place.string(),designation.string()"

2. 执行MongoDB脚本，从临时集合读取数据，仅更新目标集合中匹配项的非空字段：

db.test_temp.find().forEach(doc => {
  // 只收集非空的字段，避免覆盖原有值
  const updateFields = {};
  if (doc.designation !== null) {
    updateFields.designation = doc.designation;
  }
  // 其他字段同理添加判断逻辑

  // 匹配name+place，仅更新非空字段；如果没有匹配到则插入新记录（可选）
  db.test.updateOne(
    {name: doc.name, place: doc.place},
    {$set: updateFields},
    {upsert: true}
  );
});

3. 完成更新后，可删除临时集合：

db.test_temp.drop()

注意：mongoimport的--mode=upsert默认会用CSV中的字段（包括空值）直接覆盖原有文档对应字段，无法直接实现「仅更新非空字段」，必须通过中转集合的方式处理。

内容的提问来源于stack exchange，提问作者Sai Chaitanya Ramisetty