You need to enable JavaScript to run this app. Python中如何在词形还原后提取单词的后缀
优惠活动
大模型
产品
解决方案
定价
更多

Python中如何在词形还原后提取单词的后缀

词形还原场景下提取后缀的通用实现方案

现有re.sub方案的固有局限

你目前测试代码中使用的re.sub(lemma, "", word)本质是简单子串删除逻辑,存在明确的适用边界:

  • 仅当词元为原词的连续子串时可正常运行:比如原词produced对应动词词元produce,能顺利得到后缀d,结果符合预期。
  • 遇到非简单追加型的词形变化时完全失效:这类变化通常伴随词根本身的字符形变,原词内不存在连续的完整词元子串,正则替换无法定位需要剔除的部分:
    • 原词dancing对应动词词元dance:变形时先脱落词尾不发音的e,再追加ing后缀,原词内不存在连续的dance片段,执行替换后会直接返回原词本身,完全得不到ing的结果
    • 原词ladies对应名词词元lady:变形时先将词尾的y替换为i,再追加es后缀,原词内不存在连续的lady片段,同样无法通过子串删除得到正确后缀

通用实现思路

基于最长公共前缀的截断方案

这是无额外依赖、适配绝大多数场景的轻量实现,核心逻辑是:

  • 逐位比对原词和对应词元的字符,找到两个字符串从左到右的最长公共前缀长度
  • 原词在该公共前缀位置之后的所有片段,就是需要提取的后缀
  • 适配性验证:
    • 对dancing和dance:逐位比对到第4位时出现字符差异(原词第4位为c,词元第4位为e),公共前缀长度为4,原词切去前4位得到ing,结果正确
    • 对ladies和lady:逐位比对到第3位时出现字符差异(原词第3位为i,词元第3位为y),公共前缀长度为3,原词切去前3位得到ies,符合后缀的定义
    • 对简单追加后缀的场景(如produced和produce):逐位比对到词元末尾时仍匹配,公共前缀长度和词元长度一致,原词切去该长度后得到d,和原有re.sub方案的正常结果保持一致
  • 对应的实现代码:
def extract_suffix(word: str, lemma: str) -> str:
    common_prefix_len = 0
    # 逐位比对两个字符串的公共部分
    for w_ch, l_ch in zip(word, lemma):
        if w_ch != l_ch:
            break
        common_prefix_len += 1
    # 返回原词中公共前缀之后的片段作为后缀
    return word[common_prefix_len:]

规则校正优化

如果需要更贴合语言常识的提取结果,可以针对常见的形变规则做后处理:

  • 对已收集的常用形变映射做匹配判断,比如识别到截断结果对应“词尾e脱落+ing”“y变i+es”这类固定变化时,可手动调整截断位置,让提取的后缀更符合传统语言学定义。

内容的提问来源于stack exchange,提问作者qwertpoi

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 06:15:04