Pandas执行groupby.diff赋值时报ValueError: Columns must be same length as key问题求解

报错根因 #

两个核心原因叠加导致该错误：

1. 重复索引触发Pandas版本bug：用pd.concat拼接多个DataFrame时默认保留了每个子文件的原有索引，导致全量数据集的索引存在大量重复值，部分旧版本Pandas对重复索引的DataFrame做多列赋值时，索引对齐逻辑异常，会误判两边列长度不匹配。
2. 跨文件ID重复的逻辑隐患：从你的临时规避方案可以看出，ID是单文件内唯一标识，跨文件会出现相同ID。全量拼接后直接按ID分组，会把不同文件中相同ID的行归为同一组，不仅计算diff的逻辑不符合预期，极端情况下也会触发列长度校验错误。

最优全量处理方案 #

不需要循环遍历文件，仅需修改少量代码即可实现和单文件处理完全一致的逻辑，性能远高于Python循环实现：

import pandas as pd
import glob

txtfiles = glob.glob('Data/*.txt')
frames = []
for file_idx, file in enumerate(txtfiles):
    df = pd.read_csv(file, sep= ' ', header=None, names=['Timestamp', 'ID', 'X', 'Y'])
    # 新增文件唯一标识，保证分组逻辑和单文件处理完全一致
    df['file_id'] = file_idx
    frames.append(df)
# 拼接时重置索引，消除重复索引问题
ped_data = pd.concat(frames, ignore_index=True)

# 直接按文件ID+行ID联合分组计算diff，不需要提前插入空列
ped_data[['X_Diff', 'Y_Diff']] = ped_data.groupby(['file_id', 'ID'])[['X', 'Y']].diff()
ped_data.fillna(0, inplace=True)

# 不需要file_id列可直接删除
ped_data.drop('file_id', axis=1, inplace=True)

快速修复方案 #

如果你确认跨文件不存在重复ID，仅需修改拼接代码即可解决报错：

# 拼接后重置索引，消除重复索引
ped_data = pd.concat(frames).reset_index(drop=True)

后续原有逻辑保持不变即可正常运行。

内容的提问来源于stack exchange，提问作者studenprogrammer