如何在Python Pandas中按浮点数邻近性对数据行分组？

要实现按时间（浮点数）的邻近性分组，完全可以用Pandas的向量化操作替代循环，高效处理大数据量，步骤如下：

核心思路 #

通过计算相邻时间的差值，设定一个阈值——当两行时间差超过阈值时，判定为新集群的起点，最后通过累加起点标记生成连续的集群编号。

具体实现代码 #

假设你的DataFrame名为df，时间列是t (ns)，先根据实际业务场景确定阈值（比如示例中集群内最大时间差不到200ns，可设阈值为1000ns确保区分不同集群）：

import pandas as pd

# 1. 先对时间列排序（必须步骤，确保相邻行是时间上的连续点）
df_sorted = df.sort_values('t (ns)').reset_index(drop=True)

# 2. 设定邻近性阈值（根据你的数据调整，单位：ns）
threshold = 1000

# 3. 计算相邻行的时间差值，第一行无前置值，差值为NaN
time_diff = df_sorted['t (ns)'].diff()

# 4. 标记新集群的起点：差值超过阈值，或是第一行
new_cluster_flag = (time_diff > threshold) | time_diff.isna()

# 5. 累加标记生成集群编号（True为1，False为0，累加后得到连续的cluster ID）
df_sorted['cluster'] = new_cluster_flag.cumsum()

# 6. （可选）如果需要保留原DataFrame的索引顺序，合并回去
df = df.merge(df_sorted[['t (ns)', 'cluster']], on='t (ns)', how='left')

关键步骤解释 #

• 排序：必须先按时间排序，否则相邻行的时间差值没有意义，无法正确区分集群。
• 差值计算：diff()方法快速计算相邻元素的差，是Pandas内置的向量化操作，比循环快几个数量级。
• 集群标记：用布尔值标记新集群起点，cumsum()累加后自然生成从1开始的连续集群编号，完全符合你需要的groupby使用场景。

注意事项 #

• 阈值的选择是核心：你需要统计集群内的最大时间差，设置一个比该值大的阈值，确保同一集群内的时间差都小于阈值，不同集群间的差值超过阈值。
• 如果存在重复时间值：diff()会返回0，不会触发新集群标记，符合预期（同一时间点必然属于同一集群）。

内容的提问来源于stack exchange，提问作者Alice