对大型DataFrame执行pivot时触发IndexError，求解决办法

问题原因分析 #

这个IndexError大概率是Pandas在处理超大规模维度透视时的索引管理bug导致的。当你的userID或primaryTitle基数极大（比如千万级用户+百万级电影），pivot会尝试构建一个极端稀疏的二维全量矩阵，内部索引映射过程中容易出现越界问题。早期Pandas版本确实存在这类遗留问题，虽然后续版本有修复，但在超大规模数据集的极端场景下仍可能触发——核心原因是pivot对内存的需求呈指数级增长，超出了内部索引处理的安全边界。

替代实现方式 #

方法1：用pivot_table替代pivot #

pivot_table的内部实现更稳定，对大数据集的兼容性更好，支持直接填充缺失值：

movieUser_df = refined_dataset.pivot_table(
    index='userID',
    columns='primaryTitle',
    values='rating',
    fill_value=0
)

方法2：稀疏矩阵存储（超大规模场景推荐） #

由于未评分的电影占绝大多数，用稀疏矩阵可大幅降低内存占用，从根源避免索引越界：

from scipy.sparse import csr_matrix
from sklearn.preprocessing import LabelEncoder
import pandas as pd

# 对用户和电影ID做数值编码
user_encoder = LabelEncoder()
movie_encoder = LabelEncoder()
refined_dataset['user_idx'] = user_encoder.fit_transform(refined_dataset['userID'])
refined_dataset['movie_idx'] = movie_encoder.fit_transform(refined_dataset['primaryTitle'])

# 构建CSR稀疏矩阵
sparse_matrix = csr_matrix(
    (refined_dataset['rating'], 
     (refined_dataset['user_idx'], refined_dataset['movie_idx']))
)

# 可选：转回稀疏DataFrame（仅当必须用DataFrame格式时）
movieUser_df = pd.DataFrame.sparse.from_spmatrix(
    sparse_matrix,
    index=user_encoder.classes_,
    columns=movie_encoder.classes_
).fillna(0)

方法3：分组构建字典（内存友好型） #

如果不需要完整的二维表，仅需按用户存储评分映射，这种方式效率最高：

# 按用户分组生成评分字典
user_ratings = refined_dataset.groupby('userID').apply(
    lambda x: x.set_index('primaryTitle')['rating'].to_dict()
).to_dict()

# 可选：给每个用户补全未评分电影的0值
all_movies = refined_dataset['primaryTitle'].unique()
for user_id in user_ratings:
    user_ratings[user_id] = {movie: user_ratings[user_id].get(movie, 0) for movie in all_movies}

内容的提问来源于stack exchange，提问作者Marcus