如何在google-colaboratory中读取utf-8编码的pickled dataframe
原始报错代码
import pandas as pd DF_OBJ = open('/content/drive/DF_OBJ') DF = pd.read_pickle(DF_OBJ)
报错根因
- 文件读取模式错误:pickle是二进制序列化文件,
open()默认使用文本模式r读取,会尝试用UTF-8解码二进制字节流,而pickle文件首字节固定为0x80不属于UTF-8有效编码范围,直接触发UnicodeDecodeError报错。 - 版本兼容差异:本地生成pickle时使用的Python版本(通常为3.8及以上)内置pickle协议版本高于Google Colab默认环境的pickle版本,低版本原生pickle无法解析高版本协议生成的序列化文件。
修正后可用代码
import pandas as pd import pickle5 DF_OBJ = open('OBJ','rb') DF = pickle5.load(DF_OBJ)
方案说明
- 指定
rb二进制读取模式,跳过文本解码步骤,直接读取原始二进制字节流供反序列化使用 - 引入
pickle5库兼容高版本pickle协议,抹平本地与Colab环境的版本差异
内容的提问来源于stack exchange,提问作者aaaaa0a
相关产品推荐
相关产品推荐

