pandas中groupby与pivot_table的dropna=True行为差异解析

核心差异本质 #

你观察到的结果不一致，根源是两个方法对dropna参数的作用对象和逻辑完全不同，并非同一参数的等价行为。

groupby中dropna的具体行为 #

groupby(..., dropna=True)的作用对象是分组键（即by参数指定的列）：

• 如果某一行的分组键中存在NA值（单个分组键列或多个组合键中的任意一个），这一行会被直接排除在分组计算之外，不会参与后续聚合。
• 注意：这个参数不影响聚合列（比如你的age列）的缺失值处理——聚合列的NA会被mean这类统计函数自动忽略，和groupby.dropna无关。

在你的测试代码中：
country_live和employment_status都是category类型，没有缺失值，所以所有行都会被纳入分组。哪怕某个分组对应的age全是NaN（比如Italy的Partially employed by a company / organization分组），这个分组依然会被保留，聚合后得到NaN，unstack后这一列会显示在结果中。

pivot_table中dropna的具体行为 #

pivot_table(..., dropna=True)的作用对象是聚合后的结果列：

• 聚合完成后，检查每一列（即columns参数指定的类别），如果某一列的所有值都是NaN，就会把这一列从最终结果中移除。
• 分组过程中，所有合法的分组组合（分组键无缺失）都会被计算，哪怕聚合结果是NaN，最后再统一清理全NaN的列。

在你的测试数据中：
Partially employed by a company / organization对应的所有分组（Italy、Spain）的age均值都是NaN，所以这一列会被dropna=True过滤掉，最终结果中看不到这一列。

关键对比总结 #

内容的提问来源于stack exchange，提问作者amiola