如何在Python中优化句子时态判断？现有NLTK方案求改进

你的现有方法仅通过统计词性数量判断时态，存在不少局限性——比如无法区分语境导致的歧义（比如VBN可能属于现在完成时而非过去时，MD里的could表过去可能性而非未来），也没覆盖复合时态（如现在完成、过去进行）。以下是几种更优的实现方式：

1. 基于句法规则的精准判断（NLTK扩展） #

利用NLTK的句法分析器，结合动词短语的结构规则来识别不同时态，相比单纯统计词性，能更准确区分复合时态和语境歧义：

from nltk import word_tokenize, pos_tag, RegexpParser

def determine_tense(sentence):
    tokens = word_tokenize(sentence)
    tagged = pos_tag(tokens)
    
    # 定义匹配不同时态动词短语的正则语法
    grammar = r"""
        VP: {<MD><VB>}          # 一般将来时 (will go)
            {<VBZ|VBP><VBN>}    # 现在完成时 (has eaten / have eaten)
            {<VBD><VBN>}        # 过去完成时 (had eaten)
            {<VBZ|VBP><VBG>}    # 现在进行时 (is going / are going)
            {<VBD><VBG>}        # 过去进行时 (was going)
            {<VBP|VBZ>}         # 一般现在时 (go / goes)
            {<VBD>}             # 一般过去时 (went)
            {<MD><VBG>}         # 将来进行时 (will be going)
    """
    cp = RegexpParser(grammar)
    tree = cp.parse(tagged)
    
    tense_stats = {
        "future": 0,
        "present": 0,
        "past": 0,
        "present_perfect": 0,
        "past_perfect": 0,
        "present_continuous": 0,
        "past_continuous": 0
    }
    
    # 遍历所有动词短语子树，匹配对应时态
    for subtree in tree.subtrees(lambda t: t.label() == 'VP'):
        tags = [tag for _, tag in subtree.leaves()]
        if tags[:2] == ['MD', 'VB'] or tags[:2] == ['MD', 'VBG']:
            tense_stats["future"] += 1
        elif tags[:2] in [['VBZ', 'VBN'], ['VBP', 'VBN']]:
            tense_stats["present_perfect"] += 1
        elif tags[:2] == ['VBD', 'VBN']:
            tense_stats["past_perfect"] += 1
        elif tags[:2] in [['VBZ', 'VBG'], ['VBP', 'VBG']]:
            tense_stats["present_continuous"] += 1
        elif tags[:2] == ['VBD', 'VBG']:
            tense_stats["past_continuous"] += 1
        elif tags[0] in ['VBP', 'VBZ']:
            tense_stats["present"] += 1
        elif tags[0] == 'VBD':
            tense_stats["past"] += 1
    
    # 可选：返回简化的时态统计（合并复合时态到基础时态）
    simplified_tense = {
        "future": tense_stats["future"],
        "present": tense_stats["present"] + tense_stats["present_perfect"] + tense_stats["present_continuous"],
        "past": tense_stats["past"] + tense_stats["past_perfect"] + tense_stats["past_continuous"]
    }
    return simplified_tense  # 或返回完整的tense_stats

2. 对原NLTK词性统计方法的优化 #

如果只想在原方法基础上改进，可以优化词性判断逻辑，排除歧义情况：

from nltk import word_tokenize, pos_tag

def determine_tense_optimized(sentence):
    tagged = pos_tag(word_tokenize(sentence))
    tense = {"future": 0, "present": 0, "past": 0}
    
    for idx, (word, tag) in enumerate(tagged):
        # 区分情态动词的语义：will/shall表将来，could/might表过去可能性
        if tag == "MD":
            if word.lower() in ["will", "shall", "would", "should"]:
                tense["future"] += 1
            else:
                tense["past"] += 1
        # VBN需结合前序助动词判断：has/have后是现在完成，had后是过去完成
        elif tag == "VBN":
            if idx > 0:
                prev_tag = tagged[idx-1][1]
                if prev_tag in ["VBZ", "VBP"]:
                    tense["present"] += 1
                elif prev_tag == "VBD":
                    tense["past"] += 1
        elif tag in ["VBP", "VBZ", "VBG"]:
            tense["present"] += 1
        elif tag == "VBD":
            tense["past"] += 1
    return tense

3. 基于预训练语言模型的高精度判断 #

如果对时态判断的精度要求很高，可以使用预训练语言模型（如BERT），这类模型能理解句子语境，避免词性分析的局限性：

from transformers import pipeline

def classify_tense_with_bert(sentence):
    # 可使用自定义微调的时态分类模型，或用通用模型适配
    # 示例：使用微调后的时态分类模型（需自行训练或下载）
    classifier = pipeline("text-classification", model="your-finetuned-tense-model")
    result = classifier(sentence)[0]
    
    # 根据模型输出标签映射到时态（需对应微调时的标签设置）
    tense_map = {
        "LABEL_0": "past",
        "LABEL_1": "present",
        "LABEL_2": "future"
    }
    return tense_map[result["label"]]

内容的提问来源于stack exchange，提问作者vaibhav jain