如何在Pandas中拆分长集合列并生成对应重复行？

问题场景 #

原始DataFrame结构如下：

index      key                                   set_col          data
    0     "a1"                                ("a", "b")     "a1_data"   
    1     "a2"                      ("j", "k", "l", "m")     "a2_data"
    2     "b1"       ("z", "y", "x", "w", "v", "u", "t")     "b1_data"

需求：拆分set_col列，当该列的集合/元组元素长度超过3时，按指定长度拆分后生成重复行，其他列数据保持不变。

此前尝试过explode、replace、assign等方法，均无法满足按指定长度拆分的需求。找到如下拆分函数：

def split(a, n):
    k, m = divmod(len(a), n)
    return (a[i*k+min(i, m):(i+1)*k+min(i+1, m)] for i in range(n))

但将其应用到列时触发报错：

pandas.errors.SpecificationError: nested renamer is not supported

正确实现方法 #

1. 调整拆分函数 #

原函数返回生成器，不利于pandas处理，修改为返回列表形式，同时内置长度判断逻辑：

def split_list(a, max_len=3):
    # 长度不超过阈值时直接返回原数据的列表包裹
    if len(a) <= max_len:
        return [a]
    # 计算需要拆分的份数
    split_count = (len(a) + max_len - 1) // max_len
    k, m = divmod(len(a), split_count)
    # 返回拆分后的子列表集合
    return [a[i*k+min(i, m):(i+1)*k+min(i+1, m)] for i in range(split_count)]

2. 处理DataFrame并展开多行 #

通过apply处理set_col列，再用explode将嵌套列表展开为多行：

import pandas as pd

# 构造原始DataFrame
df = pd.DataFrame({
    'key': ['a1', 'a2', 'b1'],
    'set_col': [('a', 'b'), ('j', 'k', 'l', 'm'), ('z', 'y', 'x', 'w', 'v', 'u', 't')],
    'data': ['a1_data', 'a2_data', 'b1_data']
})

# 对set_col列执行拆分逻辑
df['set_col'] = df['set_col'].apply(split_list)

# 展开嵌套列表为多行，重置索引
result_df = df.explode('set_col', ignore_index=True)

# 输出结果
print(result_df)

最终输出结果 #

key          set_col      data
0  a1           (a, b)  a1_data
1  a2        (j, k, l)  a2_data
2  a2              (m)  a2_data
3  b1  (z, y, x, w)    b1_data
4  b1     (v, u, t)    b1_data

报错原因说明 #

之前触发的nested renamer is not supported错误，通常是在使用assign或agg时嵌套了重命名操作（比如用嵌套字典指定列处理逻辑），调整为先单独处理列、再执行展开的流程即可避免该问题。

内容的提问来源于stack exchange，提问作者Wolfeius