如何在Python中查找大字符串中单个单词的后续可能单词

嘿，这个需求在简单文本预测或者NLP入门场景里挺实用的！我就用你给的这段Python介绍文本，一步步教你怎么实现查找某个单词之后最可能出现的后续单词～

首先得把原始字符串处理成干净的单词列表——毕竟原文本里有逗号、句号这些标点，还有大小写差异（比如"Python"和"python"其实是同一个词），这些都会干扰统计结果。

我们可以用正则表达式提取所有单词，再统一转成小写：

import re
from collections import defaultdict, Counter

# 你的原始文本
str1 = """Python is a widely used high-level programming language for general-purpose programming, created by Guido van Rossum and first released in 1991. An interpreted language, Python has a design philosophy which emphasizes code readability (notably using whitespace indentation to delimit code blocks rather than curly braces or keywords), and a syntax which allows programmers to express concepts in fewer lines of code than possible in languages such as C++ or Java. The language provides constr..."""

# 预处理：转小写 + 提取所有单词（自动去掉标点）
processed_text = str1.lower()
words = re.findall(r'\b\w+\b', processed_text)

这里r'\b\w+\b'是正则表达式，专门用来匹配独立的单词，能自动忽略掉附着在单词上的标点符号。

接下来我们要统计每一个单词后面跟着的其他单词出现的次数。比如"python"后面跟着"is"，"is"后面跟着"a"，我们需要把这些配对的出现次数逐一记录下来。

用defaultdict搭配Counter来实现会非常方便：

# 构建统计字典：key是当前单词，value是Counter（记录后续单词的出现次数）
next_word_freq = defaultdict(Counter)

# 遍历所有相邻的单词对
for i in range(len(words) - 1):
    current_word = words[i]
    next_word = words[i + 1]
    next_word_freq[current_word][next_word] += 1

这样next_word_freq里就存了每个单词对应的后续单词频率，比如next_word_freq["python"]会返回Counter({"is":1, "has":1})（原文本里"python"出现了两次，分别跟着"is"和"has"）。

现在我们可以写一个简单的函数，输入某个单词，就能返回它后面最常出现的单词：

def get_most_likely_next_word(target_word):
    # 统一转小写，避免大小写不匹配导致的查询失败
    target_word = target_word.lower()
    # 如果目标单词不在统计结果里，返回None
    if target_word not in next_word_freq:
        return None
    # 获取出现次数最多的后续单词（most_common(1)返回元组列表，取第一个的单词部分）
    most_common_pair = next_word_freq[target_word].most_common(1)
    return most_common_pair[0][0] if most_common_pair else None

我们来用几个单词测试一下效果：

print(get_most_likely_next_word("python"))  # 输出：is（因为"python is"和"python has"出现次数相同，会返回先统计到的那个）
print(get_most_likely_next_word("language"))  # 输出：for

如果想要返回所有出现次数最多的后续单词（比如多个单词出现次数相同的情况），可以用这个进阶版本：

def get_all_most_likely_next_words(target_word):
    target_word = target_word.lower()
    if target_word not in next_word_freq:
        return []
    word_counts = next_word_freq[target_word]
    max_count = max(word_counts.values())
    # 收集所有次数等于max_count的单词
    return [word for word, count in word_counts.items() if count == max_count]

print(get_all_most_likely_next_words("python"))  # 输出：['is', 'has']

• 如果你的文本量很大，或者需要处理更复杂的分词场景（比如连字符、缩写），可以考虑用nltk或spaCy这类专业NLP库来分词，不过对于简单需求，上面的正则方法完全够用。
• 要是想过滤掉"is""a"这类高频无意义的停用词，可以提前在预处理阶段移除它们，不过具体要不要做取决于你的业务需求。

内容的提问来源于stack exchange，提问作者vishal suryavanshi