Pandas中不使用One-Hot-Encoding重编码5.3万对象型唯一地址的方法

针对你提到的高基数地址列独热编码内存爆炸、目标编码怕泄露+类别不平衡的问题，可按优先级选择以下可行方案：

方案1：带正则化的分层交叉验证目标编码 #

• 针对目标泄露风险：编码计算仅在训练集执行，采用分层K折交叉验证的方式实现，每折的验证集统一使用其余折训练集的目标统计值编码，完全避免测试集信息提前泄露
• 针对类别不平衡的统计偏差：加入平滑修正项，参考公式：编码值 = (n_sample * class_mean + α * global_mean) / (n_sample + α)，其中n_sample为该地址对应的样本量，class_mean为该地址的正样本占比，global_mean为全局正样本占比，α可设为10~100的平滑系数，出现次数少的稀有地址会被平滑到全局均值，避免极端统计误差
• 额外优化：可将出现次数低于5次的地址统一归类为other类，进一步降低统计噪音和特征复杂度

方案2：频率/计数编码 #

• 直接用每个地址在全训练集中的出现频率、或者出现次数替换原类别值，全程不引入目标变量信息，完全不存在泄露风险，且最终仅生成1维特征，无内存压力
• 适用场景：地址出现频率本身和你的二元目标存在相关性的场景，比如高频地址对应高发风险区域、商圈等
• 可选优化：对频率做对数变换，压缩长尾分布的数值范围，降低极端值影响

方案3：特征哈希编码 #

• 通过哈希函数将地址映射到你自定义维度的向量空间，可按需设置输出维度（通常设置10~50维即可平衡精度和碰撞概率），完全控制最终特征量，不会出现维度爆炸
• 优点：不需要提前统计全量地址取值，支持增量数据处理，无信息泄露风险，可输出为稀疏矩阵进一步降低内存占用，适配TPU的稀疏计算特性

方案4：地址结构化拆分 #

• 如果地址为结构化字符串，可拆分为省、市、区、街道、门牌号等多级子特征，每一级的唯一值数量远低于53k，再对各级子特征做独热或目标编码，既保留地址的层级信息，又不会出现维度过高的问题

内容的提问来源于stack exchange，提问作者Ryan