文本分析场景下分类器模型系数密度的定义与作用是什么

问题i 解答 #

你对density()的猜测完全正确，它就是计算矩阵中非零元素占总元素数量的比例。这个函数是该sklearn示例自定义的工具函数，并非公开库的通用API，核心计算逻辑如下：

def density(mat):
    # 稀疏矩阵用nnz属性直接取非零元素总数，避免遍历
    return mat.nnz / (mat.shape[0] * mat.shape[1])

问题ii 解答 #

你的理解也完全成立，系数矩阵的密度直接对应文本分类器的特征稀疏性：

• 密度为1时，所有token特征的系数都不为0，模型预测每个类别时会用到全部输入特征，这类情况常见于使用L2正则化的线性分类器，L2正则只会压缩系数大小，不会把系数归零。
• 密度极低（如0.001）时，绝大多数特征的系数都被压为0，相当于被模型完全丢弃，只有少量token会参与类别判断，这类情况常见于使用L1正则化、或者L1+L2弹性网络正则的模型，这类正则化的特性就是会自动筛选重要特征，把无关特征的系数归零。

这个密度指标在文本分类场景的实用价值主要有两点：

• 可解释性评估：密度越低，每个类别对应的有效特征越少，你可以很方便地提取每个类别下系数最高的top N个token，作为该类别的关键词，模型判断逻辑一目了然。
• 推理性能评估：密度越低，推理时需要做的矩阵运算量越小，线上部署的响应速度越快，对于动辄几万、几十万维的文本特征场景优势非常明显。

内容的提问来源于stack exchange，提问作者ciaran haines