多线程环境下如何仅单次加载FastText训练的*.ftz模型复用？

核心结论 #

完全可以只加载一次.ftz模型全局复用，不需要每个线程单独加载。FastText加载完成的模型实例属于只读对象，多线程同时调用预测接口不存在线程安全问题，这种方案既可以省去重复加载的时间开销，还能大幅降低内存占用，避免多份相同模型数据冗余。

具体实现步骤 #

• 在主线程初始化阶段（所有子线程启动前），完成.ftz模型的加载，将模型实例存储到全局可访问的内存空间，比如全局变量、单例类实例都可以。
• 所有业务子线程不需要再执行加载逻辑，直接引用主线程初始化好的模型实例调用预测方法即可。
• 正常使用场景下不需要额外加锁，只要没有在多线程运行过程中修改模型参数、触发重训练之类的写操作，就不会出现并发冲突。

不同语言实现示例 #

Python 示例 #

import fasttext
import threading

# 全局仅加载一次模型
global_model = fasttext.load_model("your_model.ftz")

def predict_worker(input_text: str):
    # 子线程直接复用全局模型
    label, confidence = global_model.predict(input_text)
    print(f"预测结果：{label}, 置信度：{confidence[0]}")

if __name__ == "__main__":
    test_texts = ["样本文本1", "样本文本2", "样本文本3"]
    # 启动多线程执行预测
    thread_pool = [threading.Thread(target=predict_worker, args=(text,)) for text in test_texts]
    for th in thread_pool:
        th.start()
    for th in thread_pool:
        th.join()

C++ 示例 #

#include <fasttext/fasttext.h>
#include <thread>
#include <vector>
#include <string>

// 全局模型实例，仅加载一次
fasttext::FastText shared_model;

void predict_worker(const std::string& input_text) {
    std::vector<std::pair<fasttext::real, std::string>> predict_res;
    shared_model.predict(input_text, 1, predict_res);
    // 自定义处理预测结果逻辑
}

int main() {
    // 主线程加载模型
    shared_model.loadModel("your_model.ftz");
    
    std::vector<std::thread> thread_pool;
    std::vector<std::string> test_texts = {"test text 1", "test text 2", "test text 3"};
    for (const auto& text : test_texts) {
        thread_pool.emplace_back(predict_worker, text);
    }
    for (auto& th : thread_pool) {
        th.join();
    }
    return 0;
}

注意事项 #

• 该方案仅适用于多线程模式，如果你的程序使用的是多进程模式，因为进程间内存相互隔离，无法直接跨进程复用加载好的模型，需要每个进程单独加载，或者额外实现共享内存存储模型的方案。
• 禁止在多线程运行过程中对模型执行修改权重、增量训练等写操作，这类操作会破坏线程安全性，引发不可预期的错误。

内容的提问来源于stack exchange，提问作者Omid ab