高速MongoDB单条记录读写示例及WiredTiger自定义接口实现问询

1. 单条记录高吞吐读写/更新代码示例 #

要实现单条记录每秒1万次以上的读写/更新速率，核心优化点是减少单操作的网络往返开销，使用批量操作接口、低延迟部署即可达标。以下是基于官方C驱动libmongoc的示例，固定操作同一条_id的记录，压测下可轻松突破1万QPS：

#include <mongoc/mongoc.h>

int main (int argc, char *argv[]) {
    mongoc_client_t *client;
    mongoc_collection_t *coll;
    // 固定要操作的单条记录_id
    bson_t *query = BCON_NEW("_id", BCON_INT64(10001));
    // 这里是累加更新操作，读操作替换为find即可
    bson_t *update = BCON_NEW("$inc", "{", "access_count", BCON_INT32(1), "}");
    bson_error_t error;

    mongoc_init();
    // 直连MongoDB节点，避免集群路由开销
    client = mongoc_client_new("mongodb://localhost:27017/?directConnection=true&w=0");
    coll = mongoc_client_get_collection(client, "test", "test_coll");

    // 预创建批量操作对象，单次提交100条操作减少网络开销
    mongoc_bulk_operation_t *bulk_op = mongoc_collection_create_bulk_operation_with_opts(coll, NULL);
    for (int i = 0; i < 10000; i++) {
        mongoc_bulk_operation_update_one(bulk_op, query, update, NULL);
    }

    // 执行批量操作
    bool exec_ret = mongoc_bulk_operation_execute(bulk_op, NULL, &error);
    if (!exec_ret) {
        fprintf(stderr, "操作执行失败: %s\n", error.message);
    }

    // 资源释放
    mongoc_bulk_operation_destroy(bulk_op);
    mongoc_collection_destroy(coll);
    mongoc_client_destroy(client);
    mongoc_cleanup();
    return 0;
}

2. 服务端注入自定义读写逻辑对接WiredTiger的代码路径 #

MongoDB使用统一的存储引擎抽象层对接不同底层存储，要自定义WiredTiger的读写逻辑，直接查看服务端源码的以下路径即可：

• 核心代码目录：src/mongo/db/storage/wiredtiger/
  • wiredtiger_record_store.h/cpp：单条记录的增删改查逻辑全部在此类实现，insertRecord、updateRecord、findRecord三个方法就是读写链路的核心入口，直接修改这几个方法即可注入自定义逻辑
  • wiredtiger_kv_engine.h/cpp：存储引擎的顶层抽象实现，负责WiredTiger实例的初始化、会话管理
  • wiredtiger_session_cache.h/cpp：WiredTiger原生会话的封装层，所有底层WT的操作调用都会经过该模块
    不需要修改WiredTiger本身的源码，仅修改MongoDB的WT适配层代码即可完成自定义逻辑注入。

3. 类sqlldr的批量导入/更新工具入手方向 #

• 官方自带批量导入工具为mongoimport，支持CSV、JSON、BSON三种格式的批量写入，单进程写入性能可达每秒10万+条，可通过--numInsertionWorkers参数调整并发写入线程数、--writeConcern调整写入确认级别优化性能，功能和Oracle的sqlldr完全对标。
• 如果需要自研自定义批量工具，直接使用对应语言驱动的批量操作API即可：
  • C/C++驱动使用mongoc_bulk_operation_t系列接口
  • Java驱动使用BulkOperations接口
  • Go驱动使用Collection.BulkWrite()方法
    所有驱动的批量接口都会自动打包多条操作为单个网络请求发送，和sqlldr的批量提交逻辑一致，不需要自己实现底层打包逻辑。

内容的提问来源于stack exchange，提问作者user3181125