BERTopic中NGram重复问题咨询及短语合并方法求解

一、合并特定短语为单一术语是否合理？ #

完全合理。像“india gate”“justice khanna”这类属于特定专有名词/固定搭配，拆分后的单个字词和原短语语义差异极大——比如“gate”单独是“门”，但“india gate”是明确的地标；“justice”单独指“正义/法官”，“justice khanna”则特指Khanna法官。把这类短语合并成单一术语，既能保留完整语义，又能避免单字词与短语的重叠干扰，还能减少后续文档筛选时的冗余检索，提升精准度。

二、在BERTopic中实现这类术语合并的方法 #

BERTopic的文本预处理环节可灵活定制，以下是三种常用落地思路：

1. 预处理阶段手动替换（最直接） #

在文本传入BERTopic前，把目标短语替换为无歧义的合并形式（比如用下划线连接），让后续的向量生成、嵌入环节都将其视为单一术语。
示例代码：

import re

def merge_target_phrases(text):
    # 定义需合并的短语映射，忽略大小写匹配
    phrase_map = {
        r"\bindia gate\b": "india_gate",
        r"\bjustice khanna\b": "justice_khanna"
    }
    for pattern, replacement in phrase_map.items():
        text = re.sub(pattern, replacement, text, flags=re.IGNORECASE)
    return text

# 对所有原始文档应用预处理
processed_docs = [merge_target_phrases(doc) for doc in raw_docs]

# 传入BERTopic训练
from bertopic import BERTopic
topic_model = BERTopic()
topics, probabilities = topic_model.fit_transform(processed_docs)

2. 自定义CountVectorizer词汇表（精准控制） #

如果已经明确要保留的合并术语，可直接在CountVectorizer中指定vocabulary参数，强制仅使用你定义的术语，同时排除冗余的单字词。
示例代码：

from sklearn.feature_extraction.text import CountVectorizer
from bertopic import BERTopic

# 自定义词汇表，包含合并后的术语及其他需保留的词汇
custom_vocab = {
    "india_gate": 0,
    "justice_khanna": 1,
    # 补充其他你需要的术语...
}

# 初始化CountVectorizer，指定自定义词汇，关闭自动生成ngram
vectorizer = CountVectorizer(vocabulary=custom_vocab, ngram_range=(1,1))

# 将自定义向量器传入BERTopic
topic_model = BERTopic(vectorizer_model=vectorizer)
topics, probabilities = topic_model.fit_transform(raw_docs)

3. 用短语挖掘工具批量处理（适合大量短语场景） #

如果需要处理大量固定搭配，可先用spaCy或rake-nltk自动识别文档中的固定短语，再批量合并，避免手动维护短语列表的麻烦。以spaCy的Matcher为例：

import spacy
from spacy.matcher import Matcher

nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)

# 添加短语匹配规则
pattern_india_gate = [{"LOWER": "india"}, {"LOWER": "gate"}]
pattern_justice_khanna = [{"LOWER": "justice"}, {"LOWER": "khanna"}]
matcher.add("INDIA_GATE", [pattern_india_gate])
matcher.add("JUSTICE_KHANNA", [pattern_justice_khanna])

def merge_spacy_phrases(text):
    doc = nlp(text)
    matches = matcher(doc)
    # 从后往前替换，避免匹配重叠
    for match_id, start, end in reversed(matches):
        span = doc[start:end]
        merged_phrase = span.text.replace(" ", "_")
        text = text.replace(span.text, merged_phrase)
    return text

# 批量处理文档
processed_docs = [merge_spacy_phrases(doc) for doc in raw_docs]

内容的提问来源于stack exchange，提问作者Varun Sappa