Pandas合并触发FutureWarning的问题及处理方案咨询

背景 #

我有大约100万个Pandas DataFrame，每个包含0-10000行、160列。部分DataFrame里有5-10列的值为[False, True, np.nan]，类型是object或bool；还有部分object类型列仅包含True或False。我将这些列均视为可能包含[False, True, np.nan]，因此处理时使用df.loc[df['col'] == True]而非df.loc[df['col']]这类方式。

合并这些DataFrame时，偶尔会触发警告：

In a future version, object-dtype columns with all-bool values will not be included in reductions with bool_only=True. Explicitly cast to bool dtype instead.

以下两种合并操作均会触发该警告（原因是df2存在仅含布尔值的object类型列）：

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'foo': np.zeros((2, ), dtype='bool')}, index=[0,1])
df2 = pd.DataFrame({'foo': np.ones((2, ), dtype='bool').astype('object')}, index=[2,3])
df3 = pd.DataFrame({'foo': np.array([np.nan, np.nan])}, index=[6,7])

df_ = pd.concat([df1, df2])
df_ = pd.concat([df2, df3])

问题 #

1. 使用df = df.infer_objects()处理是否合适？还是转换为categorical类型更好？另外我有两个object列是图片缩略图，推测列数据量不影响处理速度。
2. 为什么合并时会触发该警告？Pandas 1.5.0版本说明里提到这个变更：Deprecated treating all-bool object-dtype columns as bool-like in DataFrame.any() and DataFrame.all() with bool_only=True, explicitly cast to bool instead (GH46188)。concat是怎么调用any()/all()的？

解答 #

问题1：类型处理方案 #

• infer_objects()的适用性：
  这个方法完全适配你的场景。infer_objects()会自动尝试将object类型列推断为更合适的原生类型：对于仅含布尔值的object列，它会转为bool类型；对于包含np.nan的布尔列，因为原生bool类型无法存储缺失值，会保留为object类型或自动转为Pandas的Nullable Boolean类型（需Pandas 1.0+）。如果希望更规范地处理含缺失值的布尔列，建议显式转为boolean类型（df['col'] = df['col'].astype('boolean')），既保留缺失值支持，又能获得布尔类型的性能优势。
• categorical类型的适用性：
  不建议用categorical处理布尔相关列——布尔类型本身内存占用极低，categorical带来的内存收益可以忽略，反而会增加类型转换和后续操作的复杂度。对于图片缩略图的object列，更不需要转categorical，保持原类型即可，因为缩略图数据是不可枚举的离散值，categorical无法带来任何实际好处。

问题2：concat触发警告的原因 #

concat在合并过程中需要检查列的类型兼容性，并尝试统一合并后的列类型。其中一个关键步骤是判断object列是否属于“布尔类”类型，这个判断逻辑依赖内部的_is_bool_like方法，而该方法底层会调用bool_only=True参数的any()或all()操作，来验证object列是否全为布尔值。

当合并不同类型的列（比如原生bool列和仅含布尔值的object列）时，Pandas会触发这个类型检查逻辑，而该逻辑恰好命中了Pandas 1.5.0中标记为废弃的行为——将全布尔值的object列当作布尔类型处理，因此抛出了警告。

内容的提问来源于stack exchange，提问作者Frank_Coumans