XGBoost转换DMatrix阶段Jupyter Notebook内核自动崩溃问题咨询

首先可以明确：(68799, 85)规模的数据集远低于你16G内存的负载上限，转换DMatrix阶段内核崩溃基本不是数据集过大导致，优先排查以下几类常见原因：

高发原因：pandas扩展数据类型不兼容 #

XGBoost的DMatrix对pandas推出的可空数据类型（pd.Int64/pd.BooleanDtype/pd.StringDtype等）兼容性很差，转换过程中会触发段错误直接杀死进程，是这类问题最高发的诱因。

• 解决方案：转换DMatrix前将所有特征列强制转换为原生numpy兼容类型

# 对三个数据集统一做类型转换
X_train = X_train.astype('float32')
X_val = X_val.astype('float32')
X_test = X_test.astype('float32')

环境兼容性问题 #

1. XGBoost版本缺陷 #

部分版本的XGBoost存在已知的DMatrix转换bug，或是和本地numpy、pandas版本存在依赖冲突。

• 解决方案：重装稳定版XGBoost

pip uninstall -y xgboost
pip install xgboost==1.7.6

2. Jupyter内核异常 #

如果在纯Python命令行环境运行相同代码没有崩溃，说明问题出在Jupyter本身。

• 解决方案：升级内核组件后重启Jupyter

pip install --upgrade ipykernel jupyter

3. GPU版本适配错误 #

如果你安装的是CUDA版本的XGBoost，本地AMD显卡不支持CUDA调用，会在DMatrix初始化阶段触发崩溃。

• 解决方案：显式指定DMatrix使用CPU模式，关闭GPU相关参数

d_train = xgb.DMatrix(X_train, label=y_train, nthread=-1, enable_categorical=False)

内存溢出排查（极低概率） #

如果上述方案都无效，可以先执行以下代码确认各数据集的内存占用：

print(f"训练集内存占用：{X_train.memory_usage(deep=True).sum()/1024**2:.2f} MB")

正常情况下该数值不会超过50MB，三个DMatrix总内存占用也不会超过200MB，远低于16G内存上限。如果确实出现内存占用异常高的情况，再检查是否存在df重复拷贝、后台其他程序占用内存过高的问题。

内容的提问来源于stack exchange，提问作者softmax55