使用Hyperopt优化XGBRegressor遇类型错误且无法返回最优超参

核心原因：参数类型不匹配 #

报错提示“'float'对象无法作为整数解析”，本质是你在Hyperopt的参数空间里定义了需要整数类型的XGBoost参数，但Hyperopt生成的是浮点型数值，直接传给XGBRegressor时触发类型错误。

XGBoost的很多参数（比如n_estimators、max_depth、min_child_weight）要求是整数类型，但Hyperopt的hp.uniform、hp.quniform这类方法默认返回浮点值。比如你如果写了：

'max_depth': hp.uniform('max_depth', 3, 10),  # 生成浮点值，但XGB需要整数类型
'subsample': hp.uniform('subsample', 0.5, 1),  # 浮点型符合要求，无问题

直接把max_depth的浮点值传给XGBRegressor，就会触发training.py里的类型校验错误。

和loss负号的关系 #

你移除loss中的负号这个操作本身逻辑是对的（因为neg_mean_squared_error已经返回负MSE，去掉负号后Hyperopt最小化正MSE，和原逻辑一致），但这个改动和当前的类型错误无关，只是巧合同时出现。

解决步骤 #

• 对需要整数的参数，在参数空间定义或传入模型时强制转换为整数：

  # 方法1：用hp.quniform生成整数步长的数值，再取整
  'max_depth': hp.quniform('max_depth', 3, 10, 1),
  'n_estimators': hp.quniform('n_estimators', 100, 500, 50),
  
  # 方法2：在传入XGBRegressor前转int
  params = {
      'max_depth': int(params['max_depth']),
      'n_estimators': int(params['n_estimators']),
      # 其他参数...
  }
  xgb_model = XGBRegressor(**params)
  

• 核对XGBoost官方文档的参数类型要求，确保浮点型参数（如learning_rate、subsample）保持浮点，整数参数必须转为int后再传入模型。

内容的提问来源于stack exchange，提问作者Harsh Ambardekar