Pandas pivot_table中count与len/size结果差异的技术问询

问题现象 #

在Pandas中使用pivot_table时，将aggfunc从len替换为count会得到空数据集，即使代码无报错：

原代码（使用len） #

import pandas as pd

data = {'Category': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C'],
        'Value': [10, 20, 30, 40, 50, 60, 70, 80, 90]}

df = pd.DataFrame(data)

pivot_table = df.pivot_table(index='Category', columns='Value', values='Value', aggfunc=len)

print(pivot_table)

运行结果 #

Value      10   20   30   40   50   60   70   80   90
Category                                             
A         1.0  NaN  NaN  1.0  NaN  NaN  1.0  NaN  NaN
B         NaN  1.0  NaN  NaN  1.0  NaN  NaN  1.0  NaN
C         NaN  NaN  1.0  NaN  NaN  1.0  NaN  NaN  1.0

使用count的异常情况 #

pivot_table = df.pivot_table(index='Category', columns='Value', values='Value', aggfunc="count")

运行结果 #

Empty DataFrame
Columns: []
Index: [A, B, C]

其他正常情况 #

• 使用size可得到与len相同结果：

  pivot_table = df.pivot_table(index='Category', columns='Value', values='Value', aggfunc="size")
  

• 创建Value的副本列ValueCopy后，count可正常工作：

  df["ValueCopy"] = df["Value"]
  pivot_table = df.pivot_table(index='Category', columns='Value', values='ValueCopy', aggfunc="count")
  

对比Polars与DuckDB #

Polars和DuckDB中使用count进行pivot可正常得到预期结果（代码及结果见问题描述）。

疑问解答 #

1. 这是Pandas的Bug吗？ #

不是Bug，是Pandas内部处理逻辑导致的行为，属于容易引发混淆的设计，但并非代码错误。

2. 这是Pandas的预期行为吗？ #

是的。当values和columns指定同一列时，Pandas在执行pivot_table时，会将该列同时用于生成列标签和聚合对象。此时，内部处理逻辑优先保证列标签的生成，导致用于聚合的values列数据无法被正常统计，最终返回空数据集。

3. count的工作机制为何不同于len？ #

• len/size：统计的是分组后的行数，不依赖values列的具体内容。在pivot场景中，每个(index, column)组合只要有匹配的行，就返回1，否则返回NaN。
• count：统计的是指定values列中，分组内非空值的数量，必须依赖该列的实际数据存在。当values列被同时用作columns时，内部处理会导致该列的数据无法被正常用于统计，从而返回空。

4. 为何创建值列副本后count可正常工作？ #

当values列使用副本ValueCopy，columns使用原Value列时，两列相互独立。此时count(ValueCopy)统计的是每个(index, column)分组内ValueCopy列的非空值数量（即该分组的行数，因为ValueCopy无空值），因此能得到与size/len一致的结果。

5. Polars与DuckDB中count可正常使用是否说明Pandas存在缺陷？ #

不能直接说明Pandas存在缺陷，这是不同工具的设计逻辑差异：

• Polars和DuckDB的pivot逻辑中，允许同一列同时作为列标签和聚合对象，会保留该列的数据用于统计，因此count能正常返回匹配行的数量。
• Pandas的pivot_table设计更强调values列的独立性，同列复用场景下的处理逻辑是设计取舍的结果，而非功能缺陷。

内容的提问来源于stack exchange，提问作者Luxspes