Pandas groupby as_index=False未按预期工作，请求技术支持

问题根源 #

报错Shape of passed values is (60, 75), indices imply (59, 75)的核心原因是：分组后各列通过lambda x: x.dropna()返回的元素数量不一致，Pandas无法将不同长度的结果重组为规整的DataFrame。

• 小数据示例中，name列无NaN，dropna()后长度与company列完全匹配，因此能正常输出；
• 大数据场景下，部分列存在NaN被过滤后长度缩短，或填充空字符串后（空字符串不属于NaN，不会被dropna()过滤）导致列间长度不匹配，触发形状冲突。

解决方案 #

不要使用泛化的lambda x: x.dropna()，而是根据业务逻辑为不同列指定明确的聚合规则：

1. 手动指定聚合规则（适用于列数少的场景） #

# 定义聚合规则：唯一列取首值，多值列收集非空值
agg_rules = {
    'id': 'first',
    'name': 'first',
    'company': lambda x: x[(x.notna()) & (x != '')].tolist()
}

# 执行分组聚合
result = df.groupby('id', as_index=False).agg(agg_rules)

2. 批量生成聚合规则（适用于60列的大数据场景） #

# 区分唯一列（同一id下值唯一）和多值列（需收集所有非空值）
unique_cols = ['id', 'name']  # 根据实际业务调整
multi_cols = [col for col in df.columns if col not in unique_cols]

# 生成聚合规则：唯一列取首值，多值列过滤空值/NaN后转列表
agg_rules = {col: 'first' for col in unique_cols}
agg_rules.update({
    col: lambda x: x[(x.notna()) & (x != '')].tolist() 
    for col in multi_cols
})

# 执行分组聚合
result = df.groupby('id', as_index=False).agg(agg_rules)

关键说明 #

• 对于id、name这类同一分组下值应唯一的列，用first或unique()[0]保证返回单个值，避免生成冗余列表；
• 对于需要收集多值的列，同时过滤NaN和空字符串（如果有填充空字符串的操作），确保返回的列表是有效数据；
• 避免用泛化的dropna()，因为不同列的空值处理逻辑可能不同，统一处理容易导致列间长度不一致。

内容的提问来源于stack exchange，提问作者sri harsha