如何拆分句子为单词后识别并打印每个单词所属的语言

langdetect库的训练基于长文本统计特征，孤立单词的字符特征太少，大量短单词在多种语言中存在相同拼写，是本次识别结果不符合预期的核心原因。

方案1：使用适配短文本的检测工具（推荐） #

谷歌推出的cld3库对短文本的识别准确率远高于langdetect，更适合单词级别的检测，实现步骤如下：

1. 安装依赖
   pip install nltk pycld3
2. 实现代码

import cld3
from nltk.tokenize import word_tokenize

text = "I like you 我爱中国"
# 可根据业务场景限定需要检测的语种范围，大幅提升准确率
supported_langs = {"en", "zh"}

for word in word_tokenize(text):
    # 提前过滤标点等非文字字符
    if not word.isalpha():
        continue
    detect_res = cld3.get_language(word)
    if detect_res.is_reliable and detect_res.language in supported_langs:
        print(f"{word} 检测到的语言：{detect_res.language}")
    else:
        print(f"{word} 无法高置信度识别，建议结合上下文判断")

方案2：结合整句检测结果兜底（适合单语言句子场景） #

如果输入的句子都是单一语种，可以先检测整句的语种作为基准，低置信度的单词直接复用整句结果，实现步骤如下：

1. 安装依赖
   pip install nltk langdetect
2. 实现代码

from nltk.tokenize import word_tokenize
from langdetect import detect, detect_langs, DetectorFactory

# 固定随机种子，保证检测结果可复现
DetectorFactory.seed = 0

text = "I like you"
# 先检测整句的基准语种
try:
    base_lang = detect(text)
except:
    base_lang = "unknown"

for word in word_tokenize(text):
    if not word.isalpha():
        continue
    try:
        word_lang_list = detect_langs(word)
        # 单个单词识别置信度高于0.9时用单独结果，否则用整句基准语种
        if word_lang_list[0].prob > 0.9:
            print(f"{word} 检测到的语言：{word_lang_list[0].lang}")
        else:
            print(f"{word} 检测到的语言：{base_lang}")
    except:
        print(f"{word} 识别出错")

注意事项 #

• 同字符体系的短单词（比如长度≤3的拉丁字母单词）跨语言重合度极高，任何工具都无法保证100%识别准确
• 限定候选语种范围是提升识别准确率最有效的手段
• 特殊符号、标点建议提前过滤，避免无意义的识别错误

内容的提问来源于stack exchange，提问作者Imesha