如何在FastText中限制无空格语料的词长度？

嘿，刚好碰到过类似的场景，我来帮你拆解清楚！

首先先确认你的两个推测：

• -wordNgrams确实只适用于有空格分隔的语料：这个参数的作用是基于空格切分的"词"生成n元组，比如输入是"a b c"，-wordNgrams 2会生成"a b"、"b c"这类二元组。但你的无空格长字符流会被FastText当成一个超大的词，所以-wordNgrams根本没法发挥作用，这点你猜对了。
• 至于-minn/-maxn没用的原因：这俩参数是用来在单个词内部提取子词的（比如词"apple"会拆出"app"、"ppl"这类子串），但你的输入是一个超长词，而且FastText默认有个-maxWordLength参数（默认值是50），它会把超过50字符的词直接截断，所以你看到的50字符"词"其实是截断后的结果，子词提取自然对你想要的字符级序列没帮助。

那怎么处理这种无空格的状态流呢？核心思路是把字符变成独立的token，让FastText能识别到单个字符，再基于字符生成n元组，具体步骤如下：

1. 预处理语料：给每个字符加空格
   把你的无空格长字符流转换成空格分隔的字符序列，比如把abcdef...变成a b c d e f ...。用简单的脚本就能实现，比如Python：

   with open("your_raw_corpus.txt", "r") as infile, open("processed_corpus.txt", "w") as outfile:
       for line in infile:
           # 去除换行符，把每个字符用空格分隔
           spaced_line = " ".join(list(line.strip()))
           outfile.write(spaced_line + "\n")
   

2. 训练字符级的Skipgram模型
   用处理后的语料训练，通过-wordNgrams设置你想要的字符n元组长度，比如想要3字符的序列就设-wordNgrams 3，同时保留你需要的100维向量：

   fasttext skipgram -input processed_corpus.txt -output your_model -dim 100 -wordNgrams 3
   

   这样训练出来的模型就会包含单个字符、字符二元组、三元组的向量，完全符合你对状态流的处理需求。

如果之后你还想结合子词特征，也可以加上-minn和-maxn（比如-minn 2 -maxn 4），不过因为现在每个token都是单个字符，子词的作用可能不大，主要靠-wordNgrams来捕捉字符序列的关联。

内容的提问来源于stack exchange，提问作者Gavin