如何解决Scikit-LLM中GPT-3.5-turbo上下文长度超限问题

1. 截断/精简输入文本 #

Stack Overflow问题正文常包含大量代码块、冗余内容，直接输入容易触发token限制。可以用tiktoken库计算文本token数，对超长文本进行截断，预留出prompt占用的空间：

import tiktoken

def truncate_text(text, max_tokens=3500, model="gpt-3.5-turbo"):
    encoder = tiktoken.encoding_for_model(model)
    tokens = encoder.encode(text)
    if len(tokens) > max_tokens:
        truncated_tokens = tokens[:max_tokens]
        return encoder.decode(truncated_tokens)
    return text

# 预处理训练和测试集文本
X_train_truncated = X_train.apply(truncate_text)
X_test_truncated = X_test.apply(truncate_text)

# 使用处理后的数据集训练预测
clf = ZeroShotGPTClassifier(openai_model="gpt-3.5-turbo")
clf.fit(X_train_truncated, y_train)
labels = clf.predict(X_test_truncated)

2. 减小批量处理大小 #

ZeroShotGPTClassifier默认批量发送样本，当批量内样本总token数+prompt token数超过模型上限时会报错。手动设置batch_size=1，每次仅处理单个样本即可避免：

clf = ZeroShotGPTClassifier(openai_model="gpt-3.5-turbo", batch_size=1)
clf.fit(X_train, y_train)
labels = clf.predict(X_test)

这种方式会增加请求次数，但能彻底规避批量导致的token溢出。

3. 切换到更长上下文的模型 #

如果预算允许，直接使用支持更长上下文的GPT模型，比如gpt-3.5-turbo-16k（最大上下文16384 tokens），大部分Stack Overflow问题都能直接容纳：

clf = ZeroShotGPTClassifier(openai_model="gpt-3.5-turbo-16k")
clf.fit(X_train, y_train)
labels = clf.predict(X_test)

4. 提取文本关键信息（摘要预处理） #

对超长问题正文生成摘要，保留核心信息后再输入分类器。可以用轻量的预训练摘要模型完成预处理：

from transformers import pipeline

summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

def summarize_text(text, max_length=150, min_length=50):
    # 先截断到摘要模型支持的输入长度
    if len(text) > 10000:
        text = text[:10000]
    summary = summarizer(text, max_length=max_length, min_length=min_length, do_sample=False)[0]['summary_text']
    return summary

# 预处理数据集
X_train_summarized = X_train.apply(summarize_text)
X_test_summarized = X_test.apply(summarize_text)

# 训练预测
clf = ZeroShotGPTClassifier(openai_model="gpt-3.5-turbo")
clf.fit(X_train_summarized, y_train)
labels = clf.predict(X_test_summarized)

内容的提问来源于stack exchange，提问作者renakre