如何将fastText分类模型转换为可在BigQuery ML使用的TensorFlow SavedModel？

前置依赖安装 #

首先安装所需工具包：

pip install fasttext tensorflow numpy

步骤1：加载fastText模型并导出核心参数 #

加载训练好的model.bin，提取模型权重、词典、分类层参数：

import fasttext
import numpy as np
import tensorflow as tf

# 加载fastText模型
ft_model = fasttext.load_model("model.bin")

# 提取核心参数
vocab = ft_model.get_words()
embedding_dim = ft_model.get_dimension()
num_classes = len(ft_model.get_labels())

# 词嵌入矩阵
ft_embeddings = ft_model.get_input_matrix()
# 分类层权重与偏置
ft_output_weights = ft_model.get_output_matrix()
ft_output_bias = np.zeros(num_classes) # fastText默认偏置为0，若训练时开启了偏置项需对应提取

步骤2：构建对齐fastText逻辑的TensorFlow模型 #

fastText的核心推理逻辑为：输入文本分词 → 查词嵌入 → 嵌入平均 → 全连接层分类，TensorFlow侧需完全对齐该逻辑：

# 构建词索引映射层
vocab_table = tf.lookup.StaticVocabularyTable(
    tf.lookup.KeyValueTensorInitializer(vocab, tf.range(len(vocab), dtype=tf.int64)),
    num_oov_buckets=1 # OOV词对应索引，可根据fastText训练参数调整
)

# 构建模型
inputs = tf.keras.Input(shape=(), dtype=tf.string, name="input_text")
# 分词：需和fastText训练时的分词逻辑完全一致，此处为空格分词示例
tokens = tf.strings.split(inputs)
# 转词索引
token_ids = vocab_table.lookup(tokens)
# 嵌入层，加载fastText的预训练权重
embedding_layer = tf.keras.layers.Embedding(
    input_dim=len(vocab) + 1, # 加1对应OOV桶
    output_dim=embedding_dim,
    weights=[ft_embeddings],
    trainable=False
)
embeddings = embedding_layer(token_ids)
# 嵌入平均，对齐fastText的均值池化逻辑
mean_embedding = tf.keras.layers.GlobalAveragePooling1D()(tf.expand_dims(embeddings, 0) if len(embeddings.shape) == 2 else embeddings)
# 分类层，加载fastText的输出权重
output_layer = tf.keras.layers.Dense(
    units=num_classes,
    activation="softmax" if num_classes > 2 else "sigmoid",
    weights=[ft_output_weights.T, ft_output_bias],
    trainable=False,
    name="predictions"
)
outputs = output_layer(mean_embedding)

tf_model = tf.keras.Model(inputs=inputs, outputs=outputs)

步骤3：验证模型一致性并导出为SavedModel #

首先验证转换后的模型和原fastText模型预测结果一致，再导出：

# 测试样例，验证预测结果误差在允许范围内
test_text = "你的测试文本"
ft_pred = ft_model.predict(test_text)
tf_pred = tf_model(tf.constant([test_text])).numpy()
assert np.allclose(ft_pred[1], tf_pred[0], atol=1e-4), "模型预测结果不一致，检查参数对齐逻辑"

# 导出为SavedModel格式
tf_model.save("fasttext_saved_model", save_format="tf")

步骤4：导入BigQuery ML #

1. 将导出的fasttext_saved_model整个文件夹上传到GCS存储桶
2. 在BigQuery中运行SQL语句导入模型：

CREATE MODEL `你的项目ID.你的数据集.fasttext_classifier`
OPTIONS(
  MODEL_TYPE='TENSORFLOW',
  MODEL_PATH='gs://你的存储桶名称/fasttext_saved_model/*'
)

3. 导入完成后即可使用ML.PREDICT函数进行批量预测

注意事项 #

• 如果训练fastText时开启了n-gram特征，需要在TensorFlow侧实现和fastText完全一致的n-gram拆分、哈希映射逻辑，否则会出现预测结果偏差
• 输入文本的预处理逻辑（大小写转换、标点过滤、分词规则等）需要和fastText训练时完全一致
• 多分类场景下需要对齐fastText的标签顺序，避免分类结果映射错误

内容的提问来源于stack exchange，提问作者hlde