运行Microsoft Recommenders中LightFM模型时Jupyter内核崩溃求助

问题重现 #

运行Microsoft Recommenders中的lightfm_deep_dive.ipynb代码时，执行model1.fit(interactions=train_interactions, epochs=NO_EPOCHS)会在第10个批次触发Jupyter内核崩溃，已尝试新建虚拟环境、更换设备、更新依赖、调整模型参数等方法均无效。设备配置：Intel Core i5-4460、Nvidia GTX 1060、32GB内存。

排查与解决方案 #

1. 锁定LightFM及依赖包的稳定版本 #

部分新版本LightFM存在兼容性bug，建议回退至经社区验证的稳定版本：

pip install lightfm==2.3.1 numpy==1.21.6

高版本numpy可能与旧版LightFM的Cython实现冲突，锁定numpy 1.21.x系列可避免此类问题。

2. 验证训练数据格式与规模 #

• 确保train_interactions为LightFM要求的稀疏矩阵类型（如scipy.sparse.coo_matrix），密集矩阵会大幅增加内存负载：

  from scipy.sparse import coo_matrix
  train_interactions = coo_matrix(train_interactions)
  

• 缩小数据集测试：截取训练数据的10%样本运行fit方法，若不再崩溃，说明原数据规模超出当前环境的内存或线程调度承受能力，需进一步拆分数据或调整模型维度。

3. 强制单线程运行 #

多线程调度可能触发LightFM底层Cython代码的内存冲突，尝试设置num_threads=1并启用日志输出：

model1.fit(interactions=train_interactions, epochs=NO_EPOCHS, num_threads=1, verbose=True)

verbose=True可输出崩溃前的详细训练日志，帮助定位具体异常环节。

4. 补全系统级编译依赖 #

LightFM依赖Cython与OpenMP，确保系统安装对应组件：

• Windows：安装Visual Studio Build Tools并勾选「C++开发工具」
• Linux：执行sudo apt-get install gcc g++ libopenmp-dev
• macOS：执行xcode-select --install安装Xcode命令行工具

5. 脱离Jupyter环境运行 #

Jupyter内核的内存隔离机制可能掩盖底层报错，将代码保存为.py文件后用命令行运行：

python lightfm_train_script.py

此方式可获取完整的崩溃堆栈信息（如段错误日志），便于精准定位问题根源。

6. 临时禁用GPU加速 #

若系统中安装了PyTorch/TensorFlow等GPU框架，可能与LightFM的CPU线程调度冲突，临时禁用GPU后重试：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

内容的提问来源于stack exchange，提问作者KwstisXD