合并带时间戳索引的两个DataFrame，如何实现重复索引覆盖、无行重复并持续更新主表？

核心实现目标：按统一时间索引对齐，实时拉取的新数据覆盖主表同索引的公共列值、保留主表独有的计算列（如MA、EMA）、自动追加主表中不存在的新时间戳行，全程不产生重复索引行。

常见踩坑原因 #

你之前尝试各类合并方法失败，通常是两个核心问题导致：

• 两个DataFrame的时间索引存在时区、精度类型差异，导致看起来相同的时间戳实际无法匹配，被判定为不同行
• 对pandas各合并方法的默认逻辑理解偏差，比如没有注意到update方法只更新已有索引的列值、不会自动追加新行；combine_first默认主表值优先不会被覆盖等

正确实现步骤 #

1. 统一索引格式，杜绝匹配偏差
   先把主表（df_main）和实时拉取的临时表（df_live）的索引转换为完全一致的秒级无时区DatetimeIndex，从根源上避免同时间戳匹配失败的问题：

   # 对两个DataFrame的索引做统一标准化处理
   df_main.index = pd.to_datetime(df_main.index).tz_localize(None).floor("s")
   df_live.index = pd.to_datetime(df_live.index).tz_localize(None).floor("s")
   

2. 组合实现覆盖+追加的合并逻辑
   按照"先覆盖同索引值、再追加全新行"的流程实现合并，同时兼顾主表独有列的保留：

   # 第一部分：用update原地覆盖同索引行的公共列值，不会修改主表独有的MA/EMA列
   df_main.update(df_live)
   
   # 第二部分：提取实时数据中主表完全不存在的新时间戳行
   rows_to_append = df_live.loc[~df_live.index.isin(df_main.index)]
   
   # 第三部分：追加新行并按时间索引排序，保证序列顺序
   df_main = pd.concat([df_main, rows_to_append]).sort_index()
   

   注意：直接单独使用df_main.update(df_live)的缺陷是，它只会更新主表已存在的索引行，不会自动把实时数据里的全新时间戳行追加到主表中，这也是你之前遇到"能更新但加不进去新行"问题的核心原因。

3. asyncio循环中的适配注意事项
   把上述合并逻辑放在每次API拉取到新df_live后的处理分支时，需要规避两个常见问题：

   • 不要把df_main设置为循环内部的局部变量，需要把它定义为全局变量、或绑定在处理任务的类成员上，避免循环迭代时局部变量被销毁，导致主表永远停留在初始状态
   • 上述合并流程的单步执行延迟通常低于1ms，不会阻塞每秒一次的API拉取任务，不需要额外做异步拆分

其他方法不适用的原因 #

• 直接使用pd.concat([df_main, df_live])：默认不做索引去重，会生成大量同索引的重复行
• 直接使用df_main.combine_first(df_live)：逻辑为主表值优先，同索引下只要主表存在值就不会被新数据覆盖，完全不符合"新数据覆盖"的要求
• 直接使用df_main.join(df_live)：默认左连接，只会为主表追加新的列，不会覆盖主表已有列的数值
• 直接使用df_main.append(df_live)：pandas 2.0+版本已废弃该方法，且不支持同索引覆盖，会生成重复索引行

内容的提问来源于stack exchange，提问作者user10906266