Google Colab处理数据集时遇dill模块无PY3属性错误的解决方法

一、处理transformers库的弃用警告 #

警告提示pad_to_max_length参数已被弃用，需替换为新的参数写法：

• 若要填充到批次内最长序列的长度：将pad_to_max_length=True替换为padding='longest'或padding=True
• 若要填充到指定的最大长度：替换为padding='max_length'，同时可配合max_length参数指定具体长度（如max_length=512），若不指定max_length，会自动使用模型的默认最大输入长度

示例修改encode函数中的tokenizer调用：
原写法（示例）：

tokenizer(text, pad_to_max_length=True, max_length=512)

修改后：

# 填充到批次最长序列
tokenizer(text, padding='longest')
# 或填充到指定最大长度
tokenizer(text, padding='max_length', max_length=512)

二、解决dill库的AttributeError（module 'dill' has no attribute 'PY3'） #

该错误由datasets库与当前dill版本不兼容导致，在Colab中按以下步骤修复：

1. 卸载当前dill版本

!pip uninstall -y dill

2. 安装兼容的旧版本（推荐0.3.6版本，与datasets兼容性良好）

!pip install dill==0.3.6

3. 重启Colab运行时（点击菜单栏「Runtime」→「Restart runtime」），之后重新执行代码

完成上述操作后，再次运行train_ds= train_dataset.map(encode)即可正常执行。

内容的提问来源于stack exchange，提问作者THANH HOÀNG