pandas DF按列值选行:筛选reliability<0.7时包含0.7值行的排查
筛选reliability值小于0.7的行却混入显示为0.70的行的原因
出现这个问题几乎都是数据展示效果和实际存储值不一致导致的,不是筛选代码的逻辑写错了,具体的原因和排查方案如下:
- 最常见的核心原因:浮点数显示格式化带来的视觉偏差
日常用pandas做数据分析时,很多人会主动或者默认设置浮点展示规则,比如全局设置把所有浮点值保留2位小数展示。这个设置只作用于输出展示环节,完全不会修改DataFrame里单元格的真实存储值。
你的数据集里reliability列本身大多是通过公式计算生成的(比如基于样本量、置信区间推导的可靠性评分),受二进制浮点数存储特性的影响,本来应该等于0.7的数值,实际底层存储的是类似0.6999999999999999的微偏差值,在2位小数的展示规则下就会显示成0.70,但做<0.7的大小比较时,这个值是满足小于条件的,自然会被筛选到结果里。
排查的时候可以运行下面的代码,展开每个值的全部存储精度,就能看到真实的数值大小:awards_test_df.loc[awards_test_df['reliability'] < 0.70, 'reliability'].map(lambda x: f"{x:.20f}") - 少数场景的其他诱因
如果展开精度后看到的真实值确实是精确等于0.7,那可以检查reliability列的数据类型,有没有被误转成字符串、分类类型,这类类型的数值在做比较时pandas会做自动隐式转换,转换规则和预期不一致就会出现筛选偏差。
解决方法
如果需要严格匹配和界面展示一致的筛选规则,也就是不把那些仅因为浮点微偏差被误筛的0.7值行算进来,不要直接用原始存储值做比较,先对reliability值做固定精度的四舍五入处理再筛选:awards_test_df.loc[awards_test_df['reliability'].round(2) < 0.70]
如果业务对精度要求更高,可以把round的小数位数调整到匹配业务标准即可。
内容的提问来源于stack exchange,提问作者anu
相关产品推荐
相关产品推荐

