Pandas从Pickle加载数据后astype()意外执行原地修改的原因咨询

嘿，这个问题挺典型的，我来帮你拆解一下背后的原因，以及怎么解决～

首先，先看你代码里的两种情况差异：

• 原始创建的df：调用df.astype(str)后，原数据的元素类型完全没变化，这是符合Pandas常规行为的——astype()默认是返回一个新的DataFrame/Series，不会修改原数据。
• 从pickle加载的df2：调用df2.astype(str)后，原数据的元素类型居然被直接改了，这看起来就像是原地修改了。

核心原因：Pickle加载后的数据内存布局变了 #

问题出在混合类型的object列在pickle序列化/反序列化后的存储结构上：

1. 你原始的df['col1']是混合类型（字符串、布尔值、NaN），Pandas会把它存为object dtype的数组，但内部是独立的对象集合，astype(str)会生成全新的字符串对象放到新数组里，原数组的元素不受影响。
2. 当你把这个DataFrame存成pickle再加载回来时，Pandas的反序列化逻辑会把这个混合类型列处理成共享底层Python列表的结构——简单说就是，df2['col1']的元素直接引用了原始的那些Python对象，没有做独立的内存拷贝。

这时候调用astype(str)，Pandas在处理这种结构时，会直接遍历底层列表里的每个元素，把它们转换成字符串对象（比如把False改成"False"，把NaN改成"nan"），而这些修改会直接反映到原DataFrame里，因为它们共享同一个底层对象集合——看起来就像是astype()执行了原地操作，但本质是底层内存共享导致的意外修改。

验证和解决办法 #

你可以用这几个方法验证或解决：

• 深拷贝隔离内存：加载pickle后先做深拷贝，再执行类型转换：

  df2 = pd.read_pickle(outpath)
  df2 = df2.copy(deep=True)  # 做深拷贝，切断内存共享
  print(pd.unique([type(elem) for elem in df2['col1'].values]))
  _ = df2.astype(str)
  print(pd.unique([type(elem) for elem in df2['col1'].values]))  # 原数据不会被修改
  

• 明确赋值新变量：不管原数据会不会被修改，都把astype()的结果赋值给新变量，比如df2_str = df2.astype(str)，之后用新变量操作就不会影响原数据。
• 提前统一类型再存pickle：如果业务允许，在保存到pickle之前就把列转换成统一类型（比如提前转成str），避免混合类型带来的内存共享问题：

  df['col1'] = df['col1'].astype(str)
  df.to_pickle(outpath)
  

这个现象和Pandas 2.0.x版本的pickle反序列化逻辑有关，后续版本可能会优化这个行为，但目前用上面的方法就能规避问题啦～

备注：内容来源于stack exchange，提问作者silence_of_the_lambdas