批量拼接DataFrame遇报错：append处理大量数据是否失效？求优化方案

首先，先拆解你遇到的报错："Reindexing only valid with uniquely valued Index objects"这个错误，本质是某个待拼接的小DataFrame本身存在重复索引值，或者新加入的DF索引与已拼接的大DF索引产生了冲突（前者概率更高）。因为append()默认会保留原DataFrame的索引，前100个刚好都是索引唯一的，到第300个碰到有问题的DF，就触发了索引校验错误。

然后回答你的核心疑问：append()确实不适合大量DataFrame的拼接，原因有两点：

• Pandas从1.4.0版本开始就标记append()为废弃方法，官方明确推荐用pd.concat()替代；
• 每次调用df.append()都会创建全新的DataFrame对象，循环拼接几百个的话，会产生大量临时对象，内存开销大，拼接速度会越来越慢。

更优的实现方式：用pd.concat()批量拼接 #

这是官方推荐的高效稳定方案，步骤如下：

1. 先收集所有小DataFrame到一个列表中（这里用Python列表的append()，是高效的内存操作，和DataFrame的append()完全不同）：

df_list = []
for small_df in your_dataframes_collection:
    # 可选：提前修复索引问题，避免后续拼接报错
    if not small_df.index.is_unique:
        small_df = small_df.reset_index(drop=True)
    df_list.append(small_df)

2. 一次性完成所有拼接：

large_df = pd.concat(df_list, ignore_index=True)

• ignore_index=True会重置最终大DF的索引为连续的0,1,2,...，彻底规避索引重复的问题，直接解决你遇到的报错；
• 如果需要保留原索引信息，可以去掉这个参数，但要确保所有小DF的索引都是唯一的，或者加上verify_integrity=True主动校验（有重复索引会直接报错提示）。

额外提示：定位问题DF #

如果你想找到到底是哪个小DF引发了最初的报错，可以在循环中加入索引检查：

for idx, df in enumerate(your_dataframes_collection):
    if not df.index.is_unique:
        print(f"第{idx+1}个DataFrame存在重复索引")
        # 输出重复的索引值，方便排查
        print(df.index[df.index.duplicated()])

内容的提问来源于stack exchange，提问作者Galileo