处理超512token文本时BERT生成嵌入报ValueError求助

错误根源 #

你的代码触发ValueError: too many values to unpack (expected 2)的核心原因是input_ids维度错误：

• 代码中input_ids = torch.tensor([encoded_text]).unsqueeze(0)将张量变成了3维（[1,1,seq_len]），但BERT模型要求input_ids必须是2维（[batch_size, seq_len]），模型尝试从3维张量中解包batch_size和seq_length两个值，自然失败。
• 额外问题：直接按字符串长度切片conversation[i:i+chunk_size]完全错误，因为BERT的token是子词编码，字符串长度和实际token数量不匹配，会导致子词被截断，语义丢失。

修正后的完整代码 #

以下是正确处理长文本分段、生成有效embedding的代码：

import torch
from transformers import BertModel, BertTokenizer
from torch.nn.utils.rnn import pad_sequence

# 加载预训练模型与分词器
model = BertModel.from_pretrained('bert-base-uncased')
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model.eval()  # 切换评估模式，关闭梯度计算

# 替换为你的超长文本
conversation = "此处输入你的超长文本内容，长度超过BERT的512token限制..."

# 1. 先将整个文本转为token（不添加特殊token，避免重复）
all_tokens = tokenizer.encode(conversation, add_special_tokens=False)
max_chunk_token_len = 510  # 预留2个位置给[CLS]和[SEP]

# 2. 分段处理token，每个chunk添加标准特殊token
chunked_tokens = []
for i in range(0, len(all_tokens), max_chunk_token_len):
    chunk = [tokenizer.cls_token_id] + all_tokens[i:i+max_chunk_token_len] + [tokenizer.sep_token_id]
    chunked_tokens.append(chunk)

# 3. 统一padding到相同长度，生成模型所需的输入张量
input_ids = pad_sequence([torch.tensor(chunk) for chunk in chunked_tokens], batch_first=True)
# 生成attention_mask，标记有效token与padding
attention_mask = torch.where(input_ids != tokenizer.pad_token_id, torch.tensor(1), torch.tensor(0))

# 4. 生成embedding（禁用梯度，节省内存）
with torch.no_grad():
    outputs = model(input_ids=input_ids, attention_mask=attention_mask)

# 5. 获取embedding结果
# 每个chunk的[CLS] token embedding（表征该chunk的语义）
chunk_embeddings = outputs.last_hidden_state[:, 0, :]  # 形状: [chunk数量, 768]
# 整个文本的统一embedding（对所有chunk的embedding取平均）
document_embedding = torch.mean(chunk_embeddings, dim=0)  # 形状: [768]

关键修正说明 #

• 移除了多余的unsqueeze(0)，确保input_ids为2维张量，符合模型输入要求
• 先将完整文本转为token再分段，避免子词被截断，保证语义完整性
• 每个chunk仅添加一对[CLS]和[SEP]，严格遵循BERT的输入格式
• 添加attention_mask，让模型区分有效token和padding token，避免干扰
• 用model.eval()和torch.no_grad()关闭梯度计算，大幅降低内存占用并提升速度
• 提供两种embedding输出：单chunk的语义表征，或整个文本的平均语义表征

可选优化 #

• 如果处理对话文本，可以按轮次分段，保留对话上下文逻辑
• 单chunk处理时，也可以直接用tokenizer(chunk_text, return_tensors='pt', padding=True, truncation=True)生成输入，代码更简洁
• 若使用大尺寸BERT模型（如bert-large-uncased），仅需调整模型加载路径，处理逻辑完全一致

内容的提问来源于stack exchange，提问作者breezy