使用LibLinear实现单变量Logistic Regression预测结果异常排查

1. 输入输出的格式与编码问题 #

• LibLinear要求特征索引从1开始，如果你的单特征x被放在索引0的位置，模型会直接忽略该特征，导致权重趋近于0，所有样本预测概率都会卡在0.5，完全匹配你遇到的现象。
• 注意：LibLinear的Logistic Regression输出的是原始决策值，必须手动通过sigmoid(z) = 1/(1+exp(-z))转换为概率，直接把决策值当概率用肯定会出错。
• 标签编码要符合要求：LibLinear二分类默认要求标签是+1/-1，若你传入的是0/1，部分版本可能出现兼容问题，建议统一转成+1/-1后再训练。

2. 正则化参数C与收敛阈值eps的设置 #

• 参数C是正则化强度的倒数，C越小正则化越强。如果C设置过小，模型会过度正则化，权重被压制到接近0，导致决策边界卡在中间，所有样本概率接近0.5。建议从C=1开始尝试，逐步调大到10、100，同时注意：单特征x范围60-250，数值跨度不算大，但过强的正则化仍会惩罚大数值特征。
• eps是收敛阈值，默认0.01。如果eps设置过大，模型还未充分收敛就停止迭代，权重无法学到足够的区分度。可以尝试调小eps至0.0001，让模型完成足够迭代次数。

3. 数据本身的冲突问题 #

• 同一x对应不同y的重叠数据会导致模型无法学到明确的决策边界。比如x=60的样本中y=0和y=1各占一半，模型自然会给出0.5的概率。建议做数据统计：
  • 统计每个x值下y=0和y=1的样本占比，确认x=60时y=1占比是否接近0，x=250时y=1占比是否接近1
  • 若大量x值的y分布接近50%，模型决策边界必然偏离预期的155——因为它要最小化整体损失，会偏向样本更均衡的区域

4. 额外验证动作 #

• 确认在线计算器和LibLinear使用的是同一批训练数据，避免数据导入时出现截断、抽样错误
• 手动提取LibLinear训练得到的权重w和截距b，代入sigmoid(w*x + b)计算概率，验证是否与预测输出一致，排查是否是预测阶段的代码逻辑错误

内容的提问来源于stack exchange，提问作者Duane Allman