如何用Python NLTK去除三元组已包含的重复二元组？

针对你遇到的问题——已经生成了二元组（bigrams）和三元组（trigrams），需要剔除那些被三元组包含的二元组，只保留未被涵盖的部分——我整理了一套高效的解决思路和代码实现：

核心逻辑 #

一个二元组需要被移除的判定标准是：它是某个三元组的前两个词，或者后两个词。比如三元组high cpu due包含了high cpu和cpu due这两个二元组，这两个就属于要剔除的重复项。

分步实现 #

1. 数据格式转换：把所有二元组和三元组转换成元组集合。用元组是因为它不可变，可以作为集合的元素；用集合是为了快速查找和自动去重，处理大量数据时效率更高。
2. 生成待移除的二元组集合：遍历每个三元组，提取它的前两词和后两词组成的二元组，全部收集到一个集合里。
3. 计算剩余二元组：用原始二元组集合减去待移除集合，得到的就是未被三元组涵盖的二元组。

Python示例代码 #

# 你的原始二元组和三元组数据
bigrams = ["high cpu", "power supply", "nexus 7000", "cpu due", "supply failure"]
trigrams = ["high cpu due", "power supply failure"]

# 转换为元组集合，方便后续操作
bigram_tuples = set(tuple(bg.split()) for bg in bigrams)
trigram_tuples = set(tuple(tg.split()) for tg in trigrams)

# 收集所有被三元组涵盖的二元组
covered_bigrams = set()
for tg in trigram_tuples:
    # 前两个词组成的二元组
    covered_bigrams.add((tg[0], tg[1]))
    # 后两个词组成的二元组
    covered_bigrams.add((tg[1], tg[2]))

# 得到未被涵盖的二元组，再转回字符串格式
remaining_bigrams = [" ".join(bg) for bg in bigram_tuples - covered_bigrams]

print("保留的二元组：", remaining_bigrams)
# 输出: 保留的二元组： ['nexus 7000']

额外说明 #

• 不管三元组是否有实际语义，只要它包含了某个二元组，这个二元组就会被剔除，完全符合你的需求。
• 如果你的原始数据里有重复的二元组，集合会自动帮你去重，最终结果不会有重复项。
• 这种方法的时间复杂度很低，适合处理大规模的短语数据集。

内容的提问来源于stack exchange，提问作者timma