使用apply填充Pandas DataFrame行时遇形状不匹配错误求助

问题分析与解决方案 #

首先，咱们来拆解你遇到的ValueError: shape mismatch问题——核心原因是你用apply返回的结果格式和赋值目标的形状不匹配。

为什么原来的代码会报错？

当你执行df.apply(lambda x: ttb(x.loc['genres']), axis=1)时，返回的是一个Pandas Series，其中每个元素是一个长度等于all_genres的tuple（比如你的例子里，每个元素是(1,0,1)）。

而你要赋值的df.T.loc[all_genres, :]是一个二维的DataFrame切片（转置后，原来的列变成行，形状为(len(all_genres), 行数)）。Pandas无法把一维的「tuple序列」直接广播到二维的切片位置，因为它会把每个tuple当作单个值处理，最终导致形状不匹配。

修正方案：让返回值匹配目标形状

这里有几种简单的修正方式，按直观程度排序：

方案1：用apply返回Series（最推荐）

修改你的ttb函数，让它返回一个带索引的Series，这样apply会直接生成一个和原DataFrame行数一致的DataFrame，刚好可以直接赋值给对应的列：

import pandas as pd

# 你的原始DataFrame示例
df = pd.DataFrame({
    'movieId': [1],
    'title': ['Toy Story'],
    'genres': [{'Drama', 'Comedy'}],
    'Drama': [0],
    'Action': [0],
    'Comedy': [0]
})

all_genres = ('Drama', 'Action', 'Comedy')

def ttb(genreset):
    # 返回一个以all_genres为索引的Series
    return pd.Series(
        [1 if g in genreset else 0 for g in all_genres],
        index=all_genres
    )

# 直接将apply结果赋值给对应的列
df[all_genres] = df['genres'].apply(ttb)

执行后就能得到你想要的结果：

movieId      title           genres  Drama  Action  Comedy
0        1  Toy Story  {Drama, Comedy}      1       0       1

方案2：转换为numpy数组后转置赋值

如果你坚持想用原来的tuple返回方式，可以把apply的结果转换成二维数组，再转置后赋值：

import numpy as np

# 生成tuple序列的Series
genre_values = df.apply(lambda x: ttb(x.loc['genres']), axis=1)
# 转换为二维数组并转置，匹配目标形状
df.T.loc[all_genres, :] = np.array(genre_values.tolist()).T

方案3：循环遍历 genres（最直观，适合小集合）

如果你的all_genres数量不多，直接循环每个 genre 生成列会更易懂：

all_genres = ('Drama', 'Action', 'Comedy')
for genre in all_genres:
    df[genre] = df['genres'].apply(lambda x: 1 if genre in x else 0)

额外提示：避免apply的高效方法（大数据量推荐）

如果你的数据集很大，apply的效率可能不高，可以用explode结合get_dummies的方式，不过对于你的场景，前面的方法已经足够简洁。

内容的提问来源于stack exchange，提问作者wanaryytel