含混合dtype的MultiIndex列DataFrame选取数据时类型异常

问题背景 #

首先构造一个二级列索引的DataFrame：

import pandas as pd
df = pd.DataFrame(
        columns=pd.MultiIndex.from_product([['Time','A','B'],[1,2]]),
        index=[0,1,2],
        data=[[0,1,2,3,4,5],[10,11,12,13,14,15],[20,21,22,23,24,25]],
        dtype=float)

此时使用df.loc[2,'B']选取行索引2下所有'B'列的数据，返回结果为float64类型，符合预期。

随后为'Time'列设置datetime类型数据，使DataFrame存在混合dtype：

import datetime
times = pd.date_range("2018-01-01", periods=3, freq="h").values
df[('Time',1)] = times
df[('Time',2)] = times
df = df.sort_index(level=1,axis=1)

此时两种选取方式出现dtype差异：

• df.loc[2,'B']返回结果的dtype变为object
• df.loc[2,('B',slice(None))]返回结果仍为正确的float64类型

原因解析 #

1. 两种选取逻辑的本质区别 #

• df.loc[2,'B']的处理逻辑：pandas会先匹配列索引第一级为'B'的所有列，然后提取该行数据。当DataFrame存在混合dtype（如datetime与float共存）时，这些列分属不同的dtype组，pandas无法将它们统一为某一数值类型，只能将结果转换为object类型——这是唯一能容纳多种不兼容数据类型的通用容器。
• df.loc[2,('B',slice(None))]的处理逻辑：这种写法精确指定了二级列索引的匹配条件，直接定位到('B',1)和('B',2)这两列。由于这两列本身的dtype都是float64，提取后无需进行任何类型转换，因此结果保持原有的float64类型。

2. 仅混合dtype时触发的原因 #

当DataFrame所有列的dtype一致（如初始全为float64）时，即使使用df.loc[2,'B']，提取的列数据类型统一，pandas不需要进行类型提升，自然保持原dtype。只有当DataFrame存在多种无法自动兼容的dtype时，pandas在跨dtype组提取数据时，才会被迫将结果转为object类型来兼容所有数据。

内容的提问来源于stack exchange，提问作者germ