拼接DataFrames触发InvalidIndexError，该如何解决？

错误原因 #

这个错误的核心是单个RSS源生成的DataFrame存在重复索引，或者存在重复列名，导致pd.concat在重新索引时失败。你之前的reset_index(drop=True)是在拼接后执行，但如果拼接前的子DataFrame本身索引不唯一，还是会触发这个报错。

修复后的代码 #

import pandas as pd
import feedparser

def extract_content(urls):
    df_list = []

    for url in urls.values():
        xml = feedparser.parse(url)
        entries = xml['entries']
        df = pd.DataFrame(entries)
        
        # 移除重复列名，避免列名冲突
        df = df.loc[:, ~df.columns.duplicated()]
        
        # 统一content字段命名
        if 'media_content' in df.columns:
            df.rename(columns={'media_content': 'content'}, inplace=True)
        if 'content' not in df.columns and 'summary' in df.columns:
            df.rename(columns={'summary': 'content'}, inplace=True)
        
        # 保留需要的列，缺失列自动填充NaN
        required_cols = ['title', 'link', 'published', 'published_parsed', 'content']
        df = df.reindex(columns=required_cols)
        
        # 重置子df索引，确保唯一
        df = df.reset_index(drop=True)
        df_list.append(df)
    
    # 一次性拼接所有子df，自动生成连续索引
    df_final = pd.concat(df_list, ignore_index=True)
    return df_final

关键改动说明 #

• 改用列表收集子DataFrame：避免逐次拼接时的索引累积冲突，最后一次性concat更高效稳定
• 去除重复列：部分RSS源可能返回重复字段，导致列名重复，用~df.columns.duplicated()过滤
• 用reindex替代直接列选择：如果某个RSS源缺少指定字段，不会抛出KeyError，而是填充NaN，保证流程不中断
• 子df先重置索引：确保每个子DataFrame的索引都是唯一的，消除拼接时的索引冲突
• concat时用ignore_index=True：直接生成连续的新索引，无需额外执行reset_index

内容的提问来源于stack exchange，提问作者Gabi Bellini