字符级BPE训练语料形式咨询：语料应选整行、单词还是字符数组？

核心结论 #

直接使用**清洗后的完整文本（保留空格并替换为U+0120）**作为训练语料是最优方案，无需拆分成单词或单独字符数组。

具体分析 #

• 不要拆分单词：BPE的核心优势是自动学习单词内部的子词结构，拆分单词会破坏上下文关联，导致模型无法捕捉自然语言中的字符组合规律。
• 不要用单独字符数组：这种方式完全丢失了文本的序列结构，BPE依赖连续字符对的频率统计进行合并操作，单独字符数组无法提供有效统计依据，训练出的编码毫无实际意义。
• 推荐处理方式：
  1. 保留现有代码中的文本清洗逻辑（去除特殊控制字符、合并多余空格）
  2. 将普通空格替换为U+0120（可见的空格替代符），让空格作为特殊"字符"参与BPE合并过程
  3. 直接将整个语料的所有字符（含替换后的U+0120）作为连续序列输入BPE算法

为什么这么做 #

BPE的本质是基于频率合并最常见的连续字符对，只有保留完整文本序列，才能准确统计真实语言中字符、子词的出现频率。比如英文中"ing""un-"这类高频后缀，只有在完整语境下，BPE才能捕捉到它们的出现规律，合并为有效子词，提升编码效率和后续语言模型的性能。

适配你的代码 #

只需在clean_text函数末尾添加空格替换逻辑：

def clean_text(text):
    text = text.replace("\u200e", "")
    text = text.replace("\u200f", "")

    text = re.sub(r"[\u200b-\u200f\u202a-\u202e]", "", text)

    text = " ".join(text.split())
    # 替换普通空格为U+0120
    text = text.replace(" ", "\u0120")

    return text

内容的提问来源于stack exchange，提问作者mostley_imaginary