加载Pickle后的Pandas DataFrame含字符串列表列索引查询异常

问题原因 #

当DataFrame通过Pickle序列化再加载后，存储列表的authors列（object dtype）在执行astype(str).str.contains()操作时，会意外原地修改列元素类型——从列表变为带引号的字符串格式。核心原因在于：

• object dtype是Pandas用于存储任意Python对象的类型，序列化/反序列化过程会改变对象的内部引用或Pandas对该列的处理逻辑。
• 未序列化时，astype(str)会生成临时的转换结果（新Series），不影响原列；但反序列化后，某些Pandas版本的隐性行为会导致astype(str)的转换结果直接覆盖原列元素，而非生成临时对象。

解决方法 #

1. 避免原地修改的查询方式 #

不要直接对原列执行astype(str)，而是通过临时转换或更安全的方法生成查询掩码，确保原列数据不受影响：

方法一：使用apply结合字符串判断（直观且安全）

# 生成包含目标字符串的行掩码
mask = df['authors'].apply(lambda x: '目标字符串' in str(x))
# 获取行索引
target_indices = df[mask].index

方法二：复制列后再执行矢量化查询

如果偏好str.contains()的矢量化效率，可以先复制列进行转换，避免修改原数据：

# 复制列并转换为字符串，不影响原列
temp_str_col = df['authors'].astype(str)
mask = temp_str_col.str.contains('目标字符串')
target_indices = df[mask].index

2. 恢复原数据类型（若已发生原地修改） #

如果authors列已被修改为字符串格式，可以使用ast.literal_eval将字符串转回列表：

import ast

# 将字符串格式的列表转回原生列表类型
df['authors'] = df['authors'].apply(ast.literal_eval)

注意：使用ast.literal_eval比eval()更安全，避免执行恶意代码风险。

内容的提问来源于stack exchange，提问作者user8188120