Pandas分组操作生成新列时遭遇KeyError异常

我完全懂你现在的困惑——明明单独访问Primary Sales Quantity列完全正常，甚至直接复制了df.columns里的精确列名，但放到分组transform的自定义函数里就抛出KeyError，这种“看得见却用不了”的问题确实挺闹心的。下面给你分析几种可能的原因，以及对应的解决办法：

可能的原因与解决方案 #

1. 存在空分组或异常分组 #

虽然你的整个DataFrame里有目标列，但按Variant分组时，可能有些分组是空的（比如Variant列存在缺失值，这些行会被自动排除在分组外），或者个别分组的结构出了问题。你可以先排查分组的基本情况：

# 查看每个分组的行数，确认是否有空分组
print(df.groupby('Variant').size())
# 检查Variant列是否有缺失值
print(df['Variant'].isna().sum())

如果确实存在空分组或缺失值，先清理数据再操作：

# 删除Variant为空的行，避免无效分组
df_clean = df.dropna(subset=['Variant'])
df_clean['Variant-based Elasticity'] = df_clean.groupby('Variant').transform(calculate_elasticity)

2. 列名藏有不可见字符 #

有时候看起来一模一样的列名，可能包含空格、制表符或者其他你看不到的Unicode字符，哪怕直接复制也会不匹配。你可以用下面的代码查看列名的真实字符串：

# 打印列名的原始格式，排查隐藏字符
for col in df.columns:
    print(repr(col))

如果发现Primary Sales Quantity的真实字符串有异常（比如前后多了空格），可以重命名列来修正：

# 去除所有列名的前后空格
df.columns = df.columns.str.strip()
# 或者单独重命名目标列（确保名称完全一致）
df = df.rename(columns={'Primary Sales Quantity': 'Primary Sales Quantity'})

3. 自定义函数的返回值结构有问题 #

transform要求函数返回的结果长度必须和原分组的长度一致，虽然你的函数逻辑没问题，但可以试试简化写法，用lambda表达式替代自定义函数，避免潜在的结构适配问题：

df['Variant-based Elasticity'] = df.groupby('Variant').apply(
    lambda group: group['Primary Sales Quantity'].pct_change() / group['MRP'].pct_change()
).reset_index(level=0, drop=True)

或者在自定义函数里显式返回对应索引的Series，确保结构匹配：

import pandas as pd

def calculate_elasticity(group):
    sales_change = group['Primary Sales Quantity'].pct_change()
    price_change = group['MRP'].pct_change()
    elasticity = sales_change / price_change
    # 显式返回带分组索引的Series
    return pd.Series(elasticity, index=group.index)

df['Variant-based Elasticity'] = df.groupby('Variant').transform(calculate_elasticity)

4. 临时打印分组列排查问题 #

你可以在自定义函数里加一行打印语句，看看每个分组实际包含哪些列，直接定位问题所在：

def calculate_elasticity(group):
    # 打印当前分组的所有列，确认是否包含目标列
    print(f"当前分组的列：{group.columns.tolist()}")
    sales_change = group['Primary Sales Quantity'].pct_change()
    price_change = group['MRP'].pct_change()
    elasticity = sales_change / price_change
    return elasticity

# 先拿少量数据测试，避免输出太多内容
df_sample = df.head(100)
df_sample['Variant-based Elasticity'] = df_sample.groupby('Variant').transform(calculate_elasticity)

这样就能直观看到哪个分组里缺少目标列，进而找到问题的根源。

备注：内容来源于stack exchange，提问作者Faiz Abbas Syed