检查Pandas数据框中传感器节点分块完整性并填充缺失数据

我有一个存储传感器测量数据的Pandas DataFrame，每行对应一个传感器节点的测量值。数据以sensornode0009开头，按10秒间隔分成多个chunk，总共包含8个唯一传感器节点。但部分节点在chunk中未发送数据，需要识别缺失节点的chunk，用该节点最近的有效数据填充，确保每个chunk都有8个节点的数据。我尝试了下面的代码，但填充效果没达到预期，有没有更简便的实现方式？

原始尝试代码 #

# 找到以'sensornode0009'开头的chunk起始索引
start_indices = df[df['Sensor_ID'] == 'sensornode0009'].index.tolist()

# 遍历每个chunk
for i in range(len(start_indices) - 1):
   start_idx = start_indices[i]  # 当前chunk的起始索引
   end_idx = start_indices[i + 1]  # 下一个chunk的起始索引（当前chunk的结束边界）

   # 获取当前chunk内的所有传感器ID
   names = df.loc[start_idx:end_idx, 'Sensor_ID'].unique()

   # 生成预期的所有传感器ID列表
   expected_names = df['Sensor_ID'].unique()

   # 找出当前chunk缺失的传感器ID
   missing_names = set(expected_names) - set(names)

   if missing_names:
      for missing_name in missing_names:
          # 找到该缺失节点在当前chunk之前的最后一条有效数据索引
          last_row_idx = df[df['Sensor_ID'] == missing_name].index.max()
          last_row = df.loc[last_row_idx]

          # 将最后一条有效数据复制到当前chunk的末尾
          df.loc[end_idx, :] = last_row.values

数据示例（Sensor_ID列部分数据） #

{0: 'sensornode0009', 1: 'sensornode0015', 2: 'sensornode0011', 3: 'sensornode0012', 4: 'sensornode0016', 5: 'sensornode0014', 6: 'sensornode0013', 7: 'sensornode0008', 8: 'sensornode0010', 9: 'sensornode0009', 10: 'sensornode0015', 11: 'sensornode0011', 12: 'sensornode0012', 13: 'sensornode0016', 14: 'sensornode0014', 15: 'sensornode0013', 16: 'sensornode0008', 17: 'sensornode0010', 18: 'sensornode0009', 19: 'sensornode0015', 20: 'sensornode0011', 21: 'sensornode0012', 22: 'sensornode0016', 23: 'sensornode0014', 24: 'sensornode0013', 25: 'sensornode0008', 26: 'sensornode0010', 27: 'sensornode0009', 28: 'sensornode0015', 29: 'sensornode0011'}

更简便的实现方案 #

原始代码的问题在于手动处理索引边界容易出错，且循环效率低。可以利用Pandas的分组、重索引和向前填充功能实现：

步骤1：标记chunk分组ID #

通过累积计数自动给每行分配所属的chunk ID，以sensornode0009作为chunk起始标志：

# 生成chunk分组ID：每次遇到sensornode0009，分组ID加1
df['chunk_id'] = (df['Sensor_ID'] == 'sensornode0009').cumsum()

步骤2：分组补全并填充数据 #

按chunk分组后，对每个组重索引补全所有传感器ID，再用ffill()拉取该节点最近的有效数据：

# 获取所有唯一传感器ID
all_sensors = df['Sensor_ID'].unique()

# 分组处理：补全传感器节点，向前填充缺失数据
filled_df = df.groupby('chunk_id').apply(
    lambda x: x.set_index('Sensor_ID').reindex(all_sensors).ffill().reset_index()
).reset_index(drop=True)

步骤3：恢复原始结构（可选） #

如果需要去掉临时的chunk_id列，恢复原DataFrame的列顺序：

filled_df = filled_df[df.columns.drop('chunk_id')]

方案优势 #

• 无需手动计算chunk边界，分组ID自动划分数据块
• 利用Pandas内置函数替代循环，代码简洁且效率更高
• 自动补全每个chunk的所有节点，确保每个chunk包含8个传感器的数据

内容的提问来源于stack exchange，提问作者pascal_