如何在Sklearn GridSearch中分组传递LogisticRegression参数避免冲突？

你遇到的这个问题太常见了——默认的参数网格会生成所有参数的笛卡尔积，自然就会出现newton-cg搭配l1 penalty这种完全不兼容的组合。要搞定这个，我们只需要把参数拆成多组独立的有效搭配，让GridSearch只遍历合法的参数组合就行。

具体来说，把param_grid改成包含多个字典的列表，每个字典对应一组互相兼容的参数：

param_grid = [
    # 第一组：仅支持l2 penalty的求解器
    {'penalty': ['l2'],
     'solver': ['newton-cg', 'lbfgs', 'sag']},
    # 第二组：同时支持l1和l2 penalty的求解器
    {'penalty': ['l1', 'l2'],
     'solver': ['liblinear', 'saga']}
]

为什么这样能解决问题？ #

GridSearchCV会逐个处理列表里的每个字典：

• 第一个字典会生成l2分别与newton-cg、lbfgs、sag的组合，这些都是完全合法的；
• 第二个字典会生成l1、l2分别与liblinear、saga的组合，这些搭配也都是官方支持的。

这样就彻底避开了不兼容的参数组合，再也不会触发那个烦人的ValueError了。

内容的提问来源于stack exchange，提问作者Tony G