如何高效从多个DataFrame中保留具有共同datetime的匹配行？

核心思路 #

无需两两反复做单向校验，只需一次性定位所有DataFrame共有的datetime值集合，再批量完成过滤/合并操作，即可将原本O(N²)复杂度的交叉校验流程，优化为O(N)复杂度，即使存在数十个DataFrame，也无需编写大量重复代码。

实现方案一：保留每个独立DataFrame的过滤操作 #

如果你后续还需要对每个DataFrame单独做分析计算，就用这个方法：

import pandas as pd

# 把所有待处理的DataFrame存入列表，无需逐个编写单独的过滤代码
df_list = [df1, df2, df3, df50]

# 统一转换datetime列格式，避免类型不一致导致匹配失效
for df in df_list:
    df['datetime'] = pd.to_datetime(df['datetime'])

# 一次性计算所有DataFrame共有的datetime集合
common_datetimes = set(df_list[0]['datetime'])
for df in df_list[1:]:
    # 集合取交集，只保留所有表都存在的时间值
    common_datetimes &= set(df['datetime'])

# 批量过滤所有DataFrame
filtered_dfs = [
    df[df['datetime'].isin(common_datetimes)].reset_index(drop=True)
    for df in df_list
]

实现方案二：直接合并为单张总表 #

如果最终目标是把所有数值列（A、B、C...）拼接成一张对齐的宽表，这个方法代码更简洁：

import pandas as pd

df_list = [df1, df2, df3, df50]
for df in df_list:
    df['datetime'] = pd.to_datetime(df['datetime'])

# 逐次做内连接，自动保留所有表共有的datetime行
merged_df = df_list[0]
for df in df_list[1:]:
    merged_df = merged_df.merge(df, on='datetime', how='inner')

# 可选：按时间排序、重置索引
merged_df = merged_df.sort_values('datetime').reset_index(drop=True)

实操注意事项 #

• 必须统一datetime列类型：字符串格式的时间、pandas时间戳、毫秒级时间戳的底层存储不同，不做统一转换会出现值看起来一样但匹配失败的问题
• 核对列名：你之前测试代码中引用date列，但实际DataFrame的时间列名为datetime，列名不匹配会直接触发KeyError
• 效率优势：50个DataFrame的场景下，两两反复校验需要执行数千次匹配操作，上述方法仅需不到百次操作即可完成所有处理，无重复计算
• 列名统一：如果不同表的时间列名不一致，可以在格式转换步骤中，将列名全部重命名为datetime，避免后续操作报错

内容的提问来源于stack exchange，提问作者R_Dax