使用DistilBERT问答模型判断文本块是否关联猪类时效果极差的问题咨询

你当前的任务是判断文本片段是否和猪相关，但结果极差，核心是遗漏了模型选型、任务匹配、文本拆分这三个关键环节，具体问题和修正方案如下：

核心问题所在 #

1. 模型选错了：distilbert-base-uncased是基础预训练模型，没有针对问答（QA）任务做微调，根本不具备处理QA任务的能力，输出的分数完全没有参考价值。
2. 任务类型不匹配：你要做的是二分类任务（判断是否和猪相关），但误用了抽取式QA pipeline——抽取式QA的目标是从上下文里抽片段当答案，不是做Yes/No判断。
3. Chunk拆分不合理：按字符数50拆分会把完整语义拆碎（比如把"pig"拆到不同片段），导致模型无法正确理解上下文。

修正方案 #

方案1：改用文本分类模型（最适合当前任务） #

直接用零样本分类模型，不需要额外训练就能完成“是否和猪相关”的判断：

import pandas as pd
from transformers import AutoTokenizer, pipeline

# 拆分文本（后续可优化为按句子/语义块拆分）
chunk_size = 50
overlap_size = 10
chunks = [text[i:i + chunk_size] for i in range(0, len(text), chunk_size - overlap_size)]

# 加载零样本分类模型
classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
# 定义分类标签
candidate_labels = ["和猪相关", "和猪无关"]

chunk_results = []
for chunk in chunks:
    result = classifier(chunk, candidate_labels)
    # 获取"和猪相关"的匹配分数
    pig_score = next(score for label, score in zip(result["labels"], result["scores"]) if label == "和猪相关")
    chunk_results.append({
        "Chunk": chunk,
        "关联分数": pig_score,
        "是否相关": pig_score > 0.5  # 自定义阈值
    })

df = pd.DataFrame(chunk_results)
print(df)

方案2：修复QA模型的使用（若坚持用QA） #

如果一定要用QA模型，必须换用微调过的QA模型，并调整问题格式：

import pandas as pd
from transformers import AutoTokenizer, pipeline, AutoModelForQuestionAnswering

chunk_size = 50
overlap_size = 10
chunks = [text[i:i + chunk_size] for i in range(0, len(text), chunk_size - overlap_size)]

# 改用针对SQuAD数据集微调的QA模型
model_name = "distilbert-base-cased-distilled-squad"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForQuestionAnswering.from_pretrained(model_name)

qa_pipeline = pipeline('question-answering', model=model, tokenizer=tokenizer)

chunk_scores = []
for chunk in chunks:
    # 把问题改成Yes/No格式
    question = "这段文本和猪相关吗？"
    answer = qa_pipeline({'question': question, 'context': chunk})
    # 根据答案内容和分数判断
    is_related = answer['answer'].lower() in ['yes', '是']
    chunk_scores.append({
        "Chunk": chunk,
        "匹配分数": answer['score'],
        "是否相关": is_related
    })

df = pd.DataFrame(chunk_scores)
print(df)

额外优化：合理拆分文本片段 #

不要按字符数拆分，建议按句子或语义块拆分：

from nltk.tokenize import sent_tokenize
import nltk
nltk.download('punkt')

# 按句子拆分文本
sentences = sent_tokenize(text)
# 合并相邻2个句子形成语义更完整的片段
chunk_size_sentences = 2
chunks = [' '.join(sentences[i:i+chunk_size_sentences]) for i in range(0, len(sentences), chunk_size_sentences)]

内容的提问来源于stack exchange，提问作者Economist_Ayahuasca