如何使用Pandas将多组Time-Sensor列合并至同一时间轴？

这个问题我太熟悉了——处理多传感器时间序列对齐，核心问题在于避免重复磁盘IO和用索引对齐代替行堆叠。你的代码里循环读三次500MB的文件是最大的性能瓶颈，而concat的用法也不符合需求：它是把数据行堆叠在一起，所以会出现重复时间索引，而不是把同一时间的传感器值合并到同一行。

优化思路 #

1. 一次性读取整个文件：磁盘IO是大文件处理的最大开销，读一次比读三次快至少3倍。
2. 拆分并清洗单传感器数据：为每个传感器提取对应的时间和值列，过滤掉无时间的无效行，转换时间格式并设置为索引。
3. 按时间索引合并：用join（而非concat）实现多表按索引对齐，自动补全缺失值为NaN，最后按时间排序。

完整代码实现 #

import pandas as pd

# 第一步：一次性读取整个TSV文件，避免多次IO操作
df = pd.read_table('testinput.csv')

# 第二步：批量处理每个传感器的数据
sensors = []
for sensor_num in range(1, 4):
    # 定义当前传感器的时间列和值列名
    time_col = f'Time{sensor_num}'
    sensor_col = f'Sensor{sensor_num}'
    
    # 提取列 → 过滤无时间的行 → 转换时间为毫秒级时间增量 → 设置时间为索引
    sensor_df = df[[time_col, sensor_col]].dropna(subset=[time_col])
    sensor_df[time_col] = pd.to_timedelta(sensor_df[time_col], unit='ms')
    sensor_df = sensor_df.set_index(time_col).rename(columns={sensor_col: sensor_col})
    
    sensors.append(sensor_df)

# 第三步：按时间索引合并所有传感器数据，outer join保留所有时间点
merged_df = sensors[0].join(sensors[1:], how='outer').sort_index()
# 重命名索引为统一的"Time"
merged_df.index.name = 'Time'

# 查看结果
print(merged_df)

为什么你的原代码会出问题？ #

• 循环读文件：每次read_table都会重新读取整个500MB文件，只取两列，这会导致大量不必要的磁盘IO，直接拖慢速度。
• 用concat代替join：concat(dfList)默认是按行堆叠（axis=0），所以三个传感器的行都会堆在一起，同一时间会出现多次；而join是按索引对齐，把同一时间的所有传感器值合并到同一行，缺失值自动补NaN。

额外性能优化建议 #

如果文件实在太大，一次性读取内存压力大，可以用pd.read_table的chunksize参数分块读取，但对于500MB的文件，现代电脑的内存完全可以一次性处理，没必要分块。

内容的提问来源于stack exchange，提问作者Seth