能否使用WEKA工具对仅部分字段掩码的数据开展数据分析
WEKA处理部分掩码数据集的可行性说明
完全可以使用WEKA对仅少量字段做了掩码的数据集开展数据分析,具体操作方案和注意事项如下:
- 若掩码字段不属于你本次分析的核心维度,直接在WEKA的
Preprocess模块调用Remove过滤器删除对应字段即可,剩余全量非掩码字段的分析不会受到任何影响 - 若掩码字段是本次分析的必需维度,按掩码规则分别处理:
- 掩码为可逆、保留值区分特征的类型(比如统一哈希、固定规则脱敏替换、手机号仅隐藏中间四位):可先对字段做特征编码,提取可区分的特征维度后导入WEKA,可正常参与分类、聚类、关联规则挖掘等全量分析任务
- 掩码为不可逆、仅保留占位特征的类型(比如所有敏感值统一替换为
***等无意义字符):可将掩码值单独作为该字段的一个枚举类别,导入WEKA时将字段设置为标称型属性,即可将掩码值作为单独属性值参与分析
- 数据导入前建议先给掩码字段设置统一、不与其他正常字段值重复的占位符,避免WEKA自动识别属性类型时出现偏差
内容的提问来源于stack exchange,提问作者star
相关产品推荐
相关产品推荐

