FastText Go绑定训练词数异常及两种训练方式差异咨询

我在开发FastText的Go绑定，用同一训练文件训练时遇到异常：cgo直接调用FastText::train统计的词数是14339，但FastText CLI工具训练统计的词数是49914，结果不符。

初始cgo实现代码 #

extern "C" {

    fasttext::FastText ft_model;
    bool ft_initialized = false;

int ft_train(const char* model_name, const char* input, const char* output, int epoch, int word_ngrams, int thread, float lr)
    {
        fasttext::Args args_object;

        if (strcmp(model_name, "supervised") == 0) { 
            args_object.model = fasttext::model_name::sup;
        } else if (strcmp(model_name, "cbow") == 0) {
            args_object.model = fasttext::model_name::cbow;
        } else if (strcmp(model_name, "skipgram") == 0) {
            args_object.model = fasttext::model_name::sg;
        } else {
            return -1;
        }
            
        args_object.input = input;
        args_object.output = output;
        args_object.epoch = epoch;
        args_object.wordNgrams = word_ngrams;
        args_object.thread = thread;
        args_object.lr = lr;

        ft_model.train(args_object);
        ft_initialized = true;
        return 0;
    }
}

经调研FastText有两种训练入口：一种是CLI的main.cc逻辑，另一种是直接调用FastText类的train方法，但无法区分两者差异。更新后改用模拟CLI参数的训练逻辑解决了问题，代码如下：

更新后的训练代码 #

int train(const char* model_name, const char* input, const char* output, int epoch, int word_ngrams, int thread, float lr) {
        const std::vector<std::string> args = {
            "fasttext",
            std::string(model_name),
            "-input",
            std::string(input),
            "-output",
            std::string(output),
            "-epoch",
            std::to_string(epoch),
            "-wordNgrams",
            std::to_string(word_ngrams),
            "-thread",
            std::to_string(thread),
            "-lr",
            std::to_string(lr)
        };

        fasttext::Args a = fasttext::Args();
        a.parseArgs(args);
        std::shared_ptr<fasttext::FastText> fasttext = std::make_shared<fasttext::FastText>();
        std::string outputFileName;

        if (a.hasAutotune() &&
            a.getAutotuneModelSize() != fasttext::Args::kUnlimitedModelSize) {
            outputFileName = a.output + ".ftz";
        } else {
            outputFileName = a.output + ".bin";
        }
        std::ofstream ofs(outputFileName);
        if (!ofs.is_open()) {
            throw std::invalid_argument(
                outputFileName + " cannot be opened for saving.");
        }
        ofs.close();
        if (a.hasAutotune()) {
            fasttext::Autotune autotune(fasttext);
            autotune.train(a);
        } else {
            fasttext->train(a);
        }
        fasttext->saveModel(outputFileName);
        fasttext->saveVectors(a.output + ".vec");
        if (a.saveOutput) {
            fasttext->saveOutput(a.output + ".output");
        }
        return 0;
    }

两种训练实现的核心差异 #

1. 参数默认值与初始化逻辑不同
   直接手动构造Args对象时，只会设置你显式赋值的字段，其余字段使用Args类的硬编码默认值（比如minCount默认是5）；而CLI的parseArgs方法会根据模型类型（supervised/cbow/skipgram）动态设置默认参数，比如supervised模型默认minCount为1，这会保留更多低频词，导致词汇表规模更大。
   除此之外，parseArgs还会处理参数间的联动逻辑（比如设置wordNgrams时自动调整特征生成规则），手动赋值字段会遗漏这些逻辑。

2. 训练流程完整性不同
   初始代码仅调用FastText::train完成训练，缺少CLI流程中的输出文件预处理、模型保存时的附加逻辑（比如自动判断输出文件名后缀、保存向量/输出文件等），虽然这些不直接影响词数统计，但会导致整体训练流程与CLI不一致。

3. 模型实例的生命周期管理
   初始代码使用全局的ft_model实例，而更新后的代码使用局部shared_ptr管理实例，虽然这不是词数差异的直接原因，但全局实例可能存在状态污染问题，影响多次训练的结果一致性。

内容的提问来源于stack exchange，提问作者Fedor