替换DataFrame各key分组下id列最后一行值为0的方法及问题排查

问题描述 #

我有一个DataFrame df，包含key和id两列：key列有x、y两组数据，每组对应4条id数值记录。需求是将每个key分组下id列的最后一行值替换为0，得到目标结果。我尝试了以下代码：

for i in df['key'].unique():
   df.loc[df['key'] == i, 'id'].iat[-1] = 0

但该代码无法修改原df中的实际值，请问问题出在哪里？同时求更高效的实现方法。

问题原因 #

• 你通过df.loc[df['key'] == i, 'id']获取的结果，很大概率是原DataFrame的副本而非视图。对副本的iat[-1]赋值只会修改临时对象，不会同步到原df。
• 链式索引（loc后再接iat）的操作方式，pandas无法保证操作的是原数据，这是导致修改无效的核心原因。

高效实现方法 #

方法1：groupby + transform 生成掩码赋值 #

# 生成每个分组内是否为最后一行的布尔掩码
mask = df.groupby('key')['id'].transform(lambda x: x.index == x.index[-1])
# 对符合条件的行的id列赋值为0
df.loc[mask, 'id'] = 0

方法2：直接获取分组最后一行索引赋值 #

# 提取每个分组的最后一行的索引
last_row_indices = df.groupby('key').tail(1).index
# 通过索引直接修改原df
df.loc[last_row_indices, 'id'] = 0

方法3：用shift对比判断分组最后一行 #

# 当前行key与下一行key不同时，即为该分组的最后一行（最后一组的最后一行下一行是NaN，也会满足条件）
mask = df['key'] != df['key'].shift(-1)
df.loc[mask, 'id'] = 0

内容的提问来源于stack exchange，提问作者borisvanax