Kaggle报错：无法解包不可迭代的NoneType对象问题求助

错误根源 #

你的xlnet_encode函数没有返回语句，Python中无return的函数默认返回None，而你试图把None拆成两个变量，直接触发了TypeError。

完整修复代码 #

首先要导入XLNet的分词器，补全编码逻辑和返回语句：

from transformers import XLNetTokenizer
import torch  # 用TensorFlow的话替换成import tensorflow as tf

# 初始化XLNet预训练分词器
tokenizer = XLNetTokenizer.from_pretrained('xlnet-base-cased')

def xlnet_encode(data, maximum_length):
    input_ids = []
    attention_masks = []
    
    # 遍历数据集中的每条推特文本
    for tweet in data['tweet']:
        # 用XLNet分词器处理文本，生成索引和掩码
        encoded_dict = tokenizer.encode_plus(
            tweet,
            add_special_tokens=True,  # 添加模型所需的特殊标记
            max_length=maximum_length,  # 统一文本长度
            padding='max_length',  # 短文本填充到指定长度
            truncation=True,  # 长文本截断到指定长度
            return_attention_mask=True,  # 返回注意力掩码
            return_tensors='pt'  # 返回PyTorch张量，TensorFlow用'tf'
        )
        
        input_ids.append(encoded_dict['input_ids'])
        attention_masks.append(encoded_dict['attention_mask'])
    
    # 将列表转为批量张量（可选，根据你的训练框架调整）
    input_ids = torch.cat(input_ids, dim=0)
    attention_masks = torch.cat(attention_masks, dim=0)
    
    # 必须返回两个变量，才能被正常解包
    return input_ids, attention_masks

# 现在调用函数即可正常运行
train_input_ids,train_attention_masks = xlnet_encode(train[:50000],60)
test_input_ids,test_attention_masks = xlnet_encode(test[:20000],60)

关键注意事项 #

• 函数末尾必须加return input_ids, attention_masks，这是解决报错的核心。
• 可根据需求更换预训练模型（比如xlnet-large-cased），调整return_tensors参数适配你的深度学习框架。
• 确保遍历的是数据集中的tweet字段，和你的数据集列名保持一致。

内容的提问来源于stack exchange，提问作者Vito Rozaan