pandas中如何将多列存储的列表合并为单列汇总列表

你之前用itertools.chain没有得到预期结果，通常是因为没有按行遍历每行的所有列表元素，正确的用法可以参考以下两种方案：

方案1：行求和实现（写法最简单，适合小数据量） #

pandas中列表相加默认执行拼接操作，直接对行方向求和即可完成多列列表合并：

import pandas as pd

# 如果你生成的初始df所有列都是待合并的列表列（索引为文件名，如A.pkl）
result = pd.DataFrame(
    df.sum(axis=1),
    columns=['values']
)

# 针对你给出的带name列的测试用例，需要先过滤出待合并的列表列
df = pd.DataFrame({'name': ['aa.pkl'],
               '0': [["001A000001", "003A0025"]],
               '1': [["003B000001","003C000001"]],
               '2': [["003D000001", "003E000001"]],
               '3': [["003F000001", "003G000001"]]})
# 排除非列表列，筛选待合并列
list_cols = [col for col in df.columns if col != 'name']
result = pd.DataFrame({
    'name': df['name'],
    'values': df[list_cols].sum(axis=1)
}).set_index('name')

执行后得到的result就是你需要的单汇总列DataFrame。

方案2：itertools.chain实现（性能更优，适合大数据量） #

如果你的数据量较大，用itertools.chain.from_iterable展开合并的效率更高，正确写法如下：

from itertools import chain
import pandas as pd

# 全列都是待合并列表的场景
result = pd.DataFrame(
    df.apply(lambda x: list(chain.from_iterable(x)), axis=1),
    columns=['values']
)

# 带name列的测试用例场景
list_cols = [col for col in df.columns if col != 'name']
result = pd.DataFrame({
    'name': df['name'],
    'values': df[list_cols].apply(lambda x: list(chain.from_iterable(x)), axis=1)
}).set_index('name')

内容的提问来源于stack exchange，提问作者user3447653