波斯语等RTL语言与LTR语言Seq2Seq神经机器翻译规范问询

一、数据预处理规范 #

• 精准字符归一化：RTL语言存在大量变体字符（如波斯语的ی与ي、希伯来语的Niqqud元音符号），不能仅依赖通用的NFKC归一化。需针对语言做特定归一：比如波斯语统一将ي替换为ی；希伯来语根据任务需求决定保留或移除Niqqud（若为通用翻译，移除可减少噪声）。
• 保留方向控制字符：不要过滤Unicode方向标记（如RLM \u200F），这些字符是RTL文本正确显示与解析的关键，混排LTR/RTL内容时能避免字符顺序错乱。
• 修正标点处理逻辑：RTL语言的标点体系独立（如波斯语问号؟、希伯来语句号׃），需单独匹配处理，避免将普通字符误判为标点。比如你代码中第二个正则把波斯语的ا（阿利夫）纳入标点集合，会破坏词汇结构，应修正为：

  text = tf.strings.regex_replace(text, '[۔؟،«»।.?!,]', r' \0 ')
  

二、分词与Tokenization规范 #

• 使用语言专用分词工具：NLTK对RTL语言支持有限，需替换为专用工具：波斯语用Parsivar或hazm，希伯来语用HebNLP分词器；或直接采用Hugging Face针对RTL预训练的tokenizer（如bert-base-fa-zwnj-uncased、bert-base-hebrew-uncased），这类工具能处理RTL的连写、粘着语特性。
• 训练专属Subword模型：RTL语言存在大量复合词，需用Byte-Pair Encoding（BPE）或SentencePiece针对目标语料训练子词模型，不要直接复用LTR语言的预训练子词表。比如用SentencePiece训练时，设置--character_coverage=0.9995以覆盖所有特殊字符。

三、模型适配与训练策略 #

• 优先用RTL预训练模型微调：直接基于单语言预训练模型（如波斯语ParsBERT、希伯来语HebBERT）或多语言RTL友好模型（如mT5）做微调，这些模型已学习RTL语言的语序、语法结构，远优于从零训练的模型。
• 确保语料质量与方向正确：选择高质量平行语料（如OPUS库中的波斯语-英语、希伯来语-英语语料），避免使用LTR/RTL语序颠倒的错误数据；若语料不足，采用反向翻译生成伪平行语料补充。
• 调整训练超参数：RTL文本的token长度与LTR存在差异，需调整学习率（初始设为1e-5），按token数量而非样本数量设置batch size，避免显存溢出或训练不稳定。

四、评估规范 #

• 采用语言适配的评估指标：除通用BLEU外，优先使用chrF（更适合粘着语结构），或使用针对RTL语言优化的BLEU实现，避免因字符顺序、特殊字符导致评估偏差。
• 加入人工评估环节：自动评估无法完全捕捉RTL语言的语序流畅性、语法正确性，需补充人工评估，重点检查翻译的逻辑通顺度与文化适配性。

内容的提问来源于stack exchange，提问作者Wanjan