FastText泰米尔语模型优化：删除无关词汇或.vec转.bin方法咨询

需求2：.vec文件过滤后转.bin（推荐优先采用） #

这种方式利用文本文件易处理的特性，先过滤无关词汇再转二进制格式，内存占用更低，操作更直观：

1. 过滤.vec文件中的无关词汇 #

使用终端命令保留第一行（词汇数+向量维度），然后筛选符合条件的词汇行（泰米尔语Unicode块U+0B80-U+0BFF内的字符，或ASCII 0-40范围内的字符）：

# 保留第一行元数据
head -n 1 your_original_model.vec > filtered_model.vec
# 筛选符合条件的词汇行并追加到新文件
grep -P '^[\x00-\x2A\u0B80-\u0BFF]+ ' your_original_model.vec >> filtered_model.vec

注：\x00-\x2A对应ASCII 0-42（覆盖0-40范围），\u0B80-\u0BFF是泰米尔语Unicode块，若需包含泰米尔语变音符号（如U+0BCD），可调整正则为^[\x00-\x2A\u0B80-\u0BFF\u0BCD]+

2. 将过滤后的.vec转为.bin文件 #

使用FastText Python API完成格式转换：

import fasttext

# 加载过滤后的文本格式模型
model = fasttext.load_model("filtered_model.vec")
# 保存为二进制.bin文件
model.save_model("filtered_model.bin")

需求1：从.bin模型中删除无关词汇并保存 #

FastText无法直接修改已加载模型的词汇表，需提取符合条件的词汇与向量，重新构建模型：

1. 加载原始.bin模型并筛选有效词汇 #

import fasttext

def is_valid_word(word):
    # 判断词汇是否包含泰米尔语字符，或所有字符在ASCII 0-40范围内
    tamil_chars = range(0x0B80, 0x0C00)
    valid_ascii = range(0, 41)
    has_tamil = any(ord(c) in tamil_chars for c in word)
    all_valid_ascii = all(ord(c) in valid_ascii for c in word)
    return has_tamil or all_valid_ascii

# 加载原始模型
original_model = fasttext.load_model("original_model.bin")
# 筛选有效词汇
valid_words = [word for word in original_model.words if is_valid_word(word)]

2. 导出有效词汇与向量为.vec，再转.bin #

# 获取向量维度
vec_dim = original_model.get_dimension()

# 写入临时.vec文件
with open("temp_filtered.vec", "w", encoding="utf-8") as f:
    f.write(f"{len(valid_words)} {vec_dim}\n")
    for word in valid_words:
        vec = original_model.get_word_vector(word)
        vec_str = " ".join(map(str, vec))
        f.write(f"{word} {vec_str}\n")

# 转换为.bin文件
filtered_model = fasttext.load_model("temp_filtered.vec")
filtered_model.save_model("filtered_from_bin.bin")

注意事项 #

• 若原始模型体积过大导致加载失败，优先采用需求2的方案，终端逐行处理.vec文件无需加载整个模型到内存。
• 可通过len(filtered_model.words)验证词汇表精简效果，或用filtered_model.get_word_vector("你的泰米尔语测试词")确认向量正常。

内容的提问来源于stack exchange，提问作者ubadub