基于卡方检验选最优k特征的自实现与sklearn方法是否一致

你的实现和sklearn内置SelectKBest(chi2, ...)的逻辑不一致，二者适用场景、计算逻辑有明显区别，不能直接划等号。

• 检验逻辑完全不同
  你写的代码用chi2_contingency做的是列联表独立性检验，专门用来判断两个分类变量是否相关：pd.crosstab会自动统计特征每个取值、标签每个类别下的样本数生成列联表，再基于观测频数和期望频数的差计算卡方统计量，统计量越大说明特征和标签越不可能独立，也就是相关性越强，这个排序思路本身是对的，是分类变量卡方选特征的标准实现。
  sklearn里的chi2根本不是做列联表独立性检验的，它是为非负计数类特征设计的（比如文本的词频、TF-IDF、0/1二值特征），计算时不会把数值当分类标签做频数统计，而是直接拿特征的数值，按标签分组算观测和期望的偏差。你要是把普通多分类特征传进去，它根本不会按类别做交叉计数，结果自然和你的实现对不上。
• 输入要求不同
  你的实现不管特征是字符串还是数值，只要是分类值就能通过crosstab统计频数，特征怎么编码都不影响结果，只要同一个类别对应同一个值就行。
  sklearn的chi2强制要求输入是非负数值，如果你把多分类特征做个简单的标签编码（比如把学历"高中/本科/硕士"编成0/1/2）直接传进去，结果会完全错——它会把0、1、2当成真实的数值大小计算，而不是代表类别的标记。
• 结果对齐的特殊场景
  只有当你所有特征都是0/1二值特征的时候（比如onehot编码后的分类特征、标记某个词是否出现的文本特征），两种方法算出来的卡方值排序才会完全一致，选出来的TopK特征才会一样。

• 如果你要选的特征全是无序分类变量，你现在写的逻辑完全可用，比直接乱套sklearn的chi2还靠谱，只要注意卡方检验的前提：列联表里每个格子的期望频数最好不小于5，不然统计量会有偏差。
• 如果你一定要用sklearn的内置实现，记得先把分类特征转成非负的合规格式，比如做onehot编码，绝对不能直接把标签编码后的多分类特征塞进去算。

内容的提问来源于stack exchange，提问作者HushHush