Proto转JSON存MongoDB耗时过长，求Proto与BSON直接转换方案

问题背景 #

将Proto数据存入MongoDB时，当前通过Proto→JSON→Document的中转流程处理，14MB数据耗时约5秒，性能瓶颈明显。MongoDB的BSON上限为16MB，完全覆盖现有数据规模，因此需跳过JSON中转，实现Proto到BSON的直接转换。

现有实现代码：

private static Document serialize(AggregationProto aggregationProto) {
  try {
    String json = JsonFormat.printer().print(aggregationProto);
    return Document.parse(json);
  } catch (InvalidProtocolBufferException e) {
    throw new IllegalStateException("Failed to print aggregationProto as JSON", e);
  }
}

优化方案 #

方案一：反射式直接映射（平衡性能与开发效率） #

利用Proto的反射API遍历字段，根据Proto与BSON的类型对应关系，直接构建BsonDocument，再转换为MongoDB的Document，全程无JSON中转。

Proto与BSON核心类型映射：

• int32/int64 → BSON int32/int64
• string → BSON string
• bool → BSON bool
• bytes → BSON binary
• 嵌套消息 → BSON document
• 重复字段 → BSON array

示例代码：

import com.google.protobuf.Descriptors;
import com.google.protobuf.Message;
import org.bson.BsonDocument;
import org.bson.BsonValue;
import org.bson.Document;

private static Document protoToDocument(Message message) {
    return new Document(protoToBsonDocument(message));
}

private static BsonDocument protoToBsonDocument(Message message) {
    BsonDocument bsonDoc = new BsonDocument();
    for (Descriptors.FieldDescriptor field : message.getDescriptorForType().getFields()) {
        if (!message.hasField(field)) continue;
        Object fieldValue = message.getField(field);
        BsonValue bsonValue = convertToBson(field, fieldValue);
        bsonDoc.put(field.getName(), bsonValue);
    }
    return bsonDoc;
}

private static BsonValue convertToBson(Descriptors.FieldDescriptor field, Object value) {
    return switch (field.getType()) {
        case INT32 -> new org.bson.BsonInt32((Integer) value);
        case INT64 -> new org.bson.BsonInt64((Long) value);
        case STRING -> new org.bson.BsonString((String) value);
        case BOOL -> new org.bson.BsonBoolean((Boolean) value);
        case BYTES -> new org.bson.BsonBinary((byte[]) value);
        case MESSAGE -> protoToBsonDocument((Message) value);
        case REPEATED -> {
            org.bson.BsonArray array = new org.bson.BsonArray();
            for (Object item : (Iterable<?>) value) {
                array.add(convertToBson(field, item));
            }
            yield array;
        }
        // 按需扩展FLOAT、DOUBLE等其他类型
        default -> throw new IllegalArgumentException("Unsupported field type: " + field.getType());
    };
}

方案二：代码生成式映射（极致性能） #

若追求最高性能，可基于Protobuf的CodeGenerator API自定义代码生成器，在编译阶段为每个Proto消息生成静态的BSON转换代码。这种方式避免了反射开销，性能接近原生序列化。

核心思路：通过代码生成器自动生成toBsonDocument()方法，直接将每个字段写入BSON结构，完全跳过反射和JSON环节。

参考内容翻译 #

1. 社区实践表明：手动映射Proto字段到BSON类型的方案，可将大体积数据的序列化耗时降低一个数量级，完全解决JSON中转的性能瓶颈。
2. Protobuf官方社区讨论：Protobuf本身未内置BSON序列化支持，但社区已提出多种可行实现思路，其中反射式方案兼顾开发效率与性能，代码生成式方案性能最优。

内容的提问来源于stack exchange，提问作者Jet