如何处理含空元素列表的Pandas DataFrame以完成explode操作？

问题场景 #

我有如下格式的数据集，想要对列表类型的列执行explode操作：

index    col1      col2      col3
    1   [A,B]     [,xx]     [1,2]
    2   [A,C]   [zz,xx]     [3,4]
    3    [D,]   [zz,yy]     [2,2]

但列中像[,xx]和[D,]这类包含空值的列表会在explode时报错。需要自动填充列表中的空位置为NaN，转成[NaN,xx]和[D,NaN]，且无需指定空值位置（空值位置不固定）。

解决方案 #

步骤1：定义空值填充函数 #

先写一个处理单个列表的函数，自动识别并替换空元素为NaN：

import pandas as pd
import numpy as np

def fill_empty_elements(lst):
    # 替换空字符串、空值为np.nan，可根据实际空值形式调整判断条件
    return [np.nan if not elem else elem for elem in lst]

步骤2：批量处理目标列 #

用applymap将函数应用到所有包含列表的列：

# 假设你的数据框名为df，指定需要处理的列
target_cols = ['col1', 'col2']
df[target_cols] = df[target_cols].applymap(fill_empty_elements)

步骤3：执行Explode操作 #

处理完成后即可正常执行explode：

# 按需选择要展开的列，ignore_index重置索引
df_exploded = df.explode(['col1', 'col2', 'col3'], ignore_index=True)

补充说明 #

• 如果列表中的空值是None而非空字符串，可将判断条件改为elem is None或pd.isna(elem)
• applymap会遍历指定列的每个单元格（即每个列表），无需手动指定空值位置，自动适配所有列表的空元素

内容的提问来源于stack exchange，提问作者bouli