如何用Python/Pandas高效处理DataFrame管道分隔列生成新DataFrame？

对于你的需求，Pandas本身提供了简洁高效的内置方法，完全不需要手动循环或复杂拼接操作，最符合Python风格的方案是结合str.split()和explode()方法：

核心函数实现 #

def split_and_explode(df, h):
    # 将目标列按管道符拆分为列表，同时保留原DataFrame结构
    df_processed = df.assign(**{h: df[h].str.split('|')})
    # 展开列表为单独行，自动重复其他列（包括KEY列）的值
    return df_processed.explode(h, ignore_index=True)

方案优势 #

• 向量化高效：str.split()和explode()都是Pandas的向量化方法，比手动遍历行快数个数量级，尤其适配大数据集
• 代码简洁：两行核心代码完成需求，贴合Python"简洁胜于复杂"的设计原则
• 自动处理重复：explode()会自动将KEY列等其他字段的值对应重复，无需手动复制或拼接
• 索引规范：ignore_index=True参数自动重置新DataFrame的索引，避免出现重复索引问题

可选优化处理特殊情况 #

如果目标列存在空值或空字符串（比如A||B这类格式），可以在拆分后过滤无效值：

def split_and_explode(df, h):
    # 拆分并过滤空字符串，同时处理NaN值
    split_col = df[h].str.split('|').apply(lambda x: [item for item in x if item] if isinstance(x, list) else x)
    df_processed = df.assign(**{h: split_col})
    # 展开后过滤空值行
    return df_processed.explode(h, ignore_index=True).dropna(subset=[h])

使用示例 #

假设原DataFrame为：

调用split_and_explode(df, 'tags')后得到：

内容的提问来源于stack exchange，提问作者Phil