从文件导入MongoDB集合时$oid字段无效问题的解决方法

问题本质 #

你遇到的错误是因为普通JSON解析库（比如默认的Jackson）无法识别MongoDB的扩展JSON格式（即{"$oid": "xxx"}这种BSON类型标识），会把$oid当成非法的BSON字段名。要规范解决这个问题，核心是让解析工具正确识别这种格式并转换成MongoDB的ObjectId对象。

方案1：使用MongoDB Java驱动原生解析工具 #

MongoDB Java驱动自带的Document.parse()方法原生支持解析扩展JSON格式，能自动将$oid转换为ObjectId，是最简洁的方案：

import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;

import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.List;
import java.util.stream.Collectors;

public class CollectionLoader {
    public static void main(String[] args) throws Exception {
        // 读取JSON文件（假设每行一个文档）
        List<String> jsonLines = Files.readAllLines(Paths.get("your-documents.json"));
        
        // 自动解析$oid为ObjectId
        List<Document> documents = jsonLines.stream()
                .map(Document::parse)
                .collect(Collectors.toList());
        
        // 清空集合并插入文档
        try (var mongoClient = MongoClients.create("mongodb://localhost:27017")) {
            MongoDatabase db = mongoClient.getDatabase("your-db");
            MongoCollection<Document> collection = db.getCollection("your-collection");
            
            collection.deleteMany(new Document()); // 清空集合
            collection.insertMany(documents);
        }
    }
}

方案2：结合Jackson与MongoDB Jackson模块 #

如果你的项目已经依赖Jackson处理JSON，可以引入MongoDB官方的Jackson模块，让Jackson直接识别扩展JSON格式：

1. 添加Maven依赖（版本匹配你的MongoDB驱动）：

<dependency>
    <groupId>org.mongodb</groupId>
    <artifactId>mongodb-jackson-codec</artifactId>
    <version>3.12.11</version>
</dependency>

2. 代码实现：

import com.fasterxml.jackson.databind.ObjectMapper;
import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoDatabase;
import org.bson.Document;
import com.mongodb.jackson.MongoJacksonModule;

import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.List;

public class CollectionLoader {
    public static void main(String[] args) throws Exception {
        // 注册MongoDB Jackson模块
        ObjectMapper mapper = new ObjectMapper()
                .registerModule(new MongoJacksonModule());
        
        // 读取并解析JSON为Document列表
        String jsonContent = Files.readString(Paths.get("your-documents.json"));
        List<Document> documents = mapper.readValue(
                jsonContent,
                mapper.getTypeFactory().constructCollectionType(List.class, Document.class)
        );
        
        // 插入逻辑同方案1
        try (var mongoClient = MongoClients.create("mongodb://localhost:27017")) {
            MongoDatabase db = mongoClient.getDatabase("your-db");
            MongoCollection<Document> collection = db.getCollection("your-collection");
            
            collection.deleteMany(new Document());
            collection.insertMany(documents);
        }
    }
}

方案3：自定义实体类的注解处理 #

如果使用自定义实体类映射文档，可通过Jackson注解指定ObjectId的反序列化规则：

import org.bson.types.ObjectId;
import com.fasterxml.jackson.databind.annotation.JsonDeserialize;
import com.mongodb.jackson.ObjectIdDeserializer;

public class YourEntity {
    @JsonDeserialize(using = ObjectIdDeserializer.class)
    private ObjectId _id;
    // 其他字段、Getter/Setter...
}

解析时直接将JSON转换成实体类列表即可：

List<YourEntity> entities = mapper.readValue(
        jsonContent,
        mapper.getTypeFactory().constructCollectionType(List.class, YourEntity.class)
);
collection.insertMany(entities);

总结 #

优先选择方案1，它不需要额外依赖，利用MongoDB驱动原生能力即可解决问题，代码最简洁优雅；如果项目已使用Jackson，方案2是无缝集成的最佳选择。

内容的提问来源于stack exchange，提问作者nick_j_white