BERTopic单样本训练报错修复及句子主题检测求助

错误原因 #

你当前的代码在循环中逐行传入单条名言调用fit_transform，但BERTopic需要足够的文本样本量来构建主题模型，单样本无法完成模型训练流程，因此触发ValueError: Transform unavailable when model was fit with only a single data sample错误。

修复方案与实现代码 #

正确的做法是一次性将所有名言文本传入模型完成训练，之后再进行单文本的主题预测，或者直接获取所有文本的主题结果：

import pandas as pd
from bertopic import BERTopic

# 读取爬取的名言数据
data = pd.read_csv("quotes.csv")
print(data.head())

# 初始化BERTopic模型，一次性训练所有名言文本
model = BERTopic()
topics, probs = model.fit_transform(data['Quotes'].tolist())

# 将主题标签合并到原数据中
data['Topic_ID'] = topics

# 查看每个主题的关键词信息
print("主题关键词详情：")
for topic_id, keywords in model.get_topics().items():
    print(f"主题{topic_id}: {[word for word, _ in keywords[:5]]}")

# 示例：对单条新名言进行主题预测
new_quote = ["Stay hungry, stay foolish."]
predicted_topic, _ = model.transform(new_quote)
print(f"\n新名言预测主题ID：{predicted_topic[0]}")

# 保存包含主题信息的结果文件
data.to_csv("quotes_with_topics.csv", index=False)

关键说明 #

• fit_transform接收的是文本列表而非单条文本，确保模型有足够样本生成有意义的主题
• model.get_topics()可以查看每个主题的核心关键词，帮助理解主题含义
• 训练完成后，使用transform方法即可对单条文本进行主题预测
• 最终结果保存为quotes_with_topics.csv，包含作者、名言和对应的主题ID

内容的提问来源于stack exchange，提问作者user4356954