遍历Pandas DataFrame处理重复时间值时执行耗时过长求助

嘿，刚接触Python和Pandas就碰到这种性能瓶颈确实闹心！我完全懂你那种看着代码跑20分钟还没结束，对比Matlab几秒搞定的挫败感——其实核心问题出在你用了逐行遍历的方式，这在Pandas里是效率最低的操作之一，而Matlab的内部优化刚好在这类场景下更友好。

别担心，咱们用Pandas的「向量化操作」就能把速度提上来，和Matlab一样快。下面直接上解决方案：

核心思路：用向量化判断替代循环 #

Pandas的优势在于批量处理数据，咱们不需要逐行检查，直接用内置函数找出所有需要修改的行，一次性完成修改：

# 标记出哪些行的下一个时间值和当前相同（这些行需要减1）
mask = df['time'].eq(df['time'].shift(-1))

# 对标记的行执行减1操作
df.loc[mask, 'time'] -= 1

为什么这个方法快？ #

• 逐行循环是在Python层面逐次处理每一行，每一步都有额外的开销；而向量化操作是把整个列交给底层的C语言代码处理，完全避开了Python循环的低效问题，这和Matlab内部的优化逻辑是一致的。
• 整个过程只需要两次列级别的运算，时间复杂度虽然还是O(n)，但实际执行速度能提升几个数量级。

验证逻辑（附示例） #

假设你的time列初始是这样的：

0    10
1    10
2    15
3    15
4    15
5    20

运行代码后，mask会标记索引0、2、3的位置（它们的下一个值和自身相同），修改后的time列就变成：

0     9
1    10
2    14
3    14
4    15
5    20

完全符合你“相邻值相同则前一个减1”的需求。

如果你的time列是datetime类型而非数值类型，只需要把减1操作换成对应时间单位的偏移即可：

mask = df['time'].eq(df['time'].shift(-1))
# 这里以秒为单位减1，可根据你的时间粒度调整unit参数
df.loc[mask, 'time'] += pd.Timedelta(-1, unit='seconds')

内容的提问来源于stack exchange，提问作者Gian Mauro Musso