如何在sklearn逻辑回归中使用tanh替代sigmoid?标签转换能否提升性能
问题解答
1. sklearn的逻辑回归是否支持替换tanh为激活函数
- 不支持。sklearn内置的
LogisticRegression完全基于标准逻辑回归的统计推导实现,损失函数、参数更新逻辑都和sigmoid激活函数强绑定,没有提供自定义激活函数的接口,无法直接替换为tanh。 - 若一定要使用tanh作为激活函数实现二分类,只能自行编写对应的损失函数和训练逻辑,比如基于sklearn的
SGDClassifier自定义损失,或是用PyTorch、TensorFlow这类深度学习框架实现。
2. 将{-1,1}标签转换为{0,1}是否能提升sigmoid版逻辑回归的性能
- 首先明确:sklearn的
LogisticRegression本身会对输入的分类标签自动做二值化编码,哪怕你传入的是{-1,1}的标签,它内部也会自动把两类分别映射为{0,1},和你手动转换的结果完全一致,两种输入得到的模型效果没有任何差异,不存在手动转换就能提升性能的情况。 - 你提到的“标签为{-1,1}时tanh表现更优”的结论,仅适用于激活函数和损失函数配套的场景:比如用tanh激活时搭配适配{-1,1}输出的损失函数,和sklearn逻辑回归的损失逻辑完全不同,不要直接套用到sigmoid版逻辑回归上。
内容的提问来源于stack exchange,提问作者haneulkim
相关产品推荐
相关产品推荐

