PyTorch初始化SAGEConv分类模型时触发内存不足错误如何解决？

• 核心触发点：Embedding层内存申请量超出硬件限制。报错显示你单次申请了603GB内存，按128维float32类型的Embedding计算，你设置的num_embeddings（item词典大小）约为11.8亿，远高于普通业务场景的合理范围，直接导致初始化时内存耗尽。
• 词典大小异常的常见原因：
  • 未对原始item_id做连续化编码：如果原始item_id是不连续的离散值（比如ID取值为1、10000、1000000），直接用df.item_id.max()+1作为词典大小会产生大量无用的占位向量，凭空占用内存
  • item_id字段存在异常值：比如数据读取错误、字符串ID转数值时溢出、缺失值被填充为极大值，都会导致df.item_id.max()异常偏高
• 次要代码缺陷：你当前导入的PyG算子不包含SAGEConv，内存问题解决后会触发导入错误，需要同步修复。

1. 先排查并修正item_id取值
   执行以下代码确认item_id的分布：

# 查看item_id的最大值、最小值、去重后数量
print("max item id:", df.item_id.max())
print("min item id:", df.item_id.min())
print("unique item count:", df.item_id.nunique())

如果去重后的item数量远小于最大值，说明需要做ID连续化映射：

# 将原始item_id映射为从0开始的连续整数
item_id_map = {origin_id: idx for idx, origin_id in enumerate(df.item_id.unique())}
df["item_id"] = df["item_id"].map(item_id_map)

修正后再用df.item_id.max() + 1设置Embedding层的num_embeddings参数即可。
2. 大item量场景优化
如果你的业务场景确实有千万级以上的item，可以通过以下方式降低内存占用：

• 降低Embedding维度：将embed_dim从128调整为32或64，内存占用会同比下降
• 启用稀疏Embedding：初始化Embedding时添加sparse=True参数，大幅降低内存开销，配套优化器改用torch.optim.SparseAdam即可
• 过滤长尾item：将出现次数少于阈值的item统一映射为同一个<UNK>特殊ID，进一步压缩词典大小

3. 修复算子导入问题
   补充SAGEConv的导入语句：

from torch_geometric.nn import SAGEConv

内容的提问来源于stack exchange，提问作者SysEng