Pandas筛选DataFrame时数值精度异常导致筛选结果不符求助

原因分析 #

你遇到的问题本质是浮点数二进制表示的精度误差：像2.750003这类十进制小数，转换为二进制浮点数时可能无法精确存储，导致实际存储值略小于2.75；而看似精确的2.75，也可能因数据导入或计算过程中的精度损失出现微小偏差，使得Pandas的比较逻辑误判，本该被剔除的行被保留。

解决方案 #

以下是几种针对性的解决方法：

方法1：引入精度容忍阈值（推荐）

通过设置微小的误差容忍范围，避免因浮点数精度导致的误判：

import pandas as pd
import numpy as np

# 筛选position严格小于2.75（减去1e-9阈值）或严格大于3.25（加上1e-9阈值）的行
mask = (df['position'] < 2.75 - 1e-9) | (df['position'] > 3.25 + 1e-9)
df2 = df[mask]

或者用np.isclose更严谨地处理边界：

# 剔除接近2.75或3.25的中间区间行
mask = ~((np.isclose(df['position'], 2.75, atol=1e-9) | (df['position'] > 2.75)) & 
         (np.isclose(df['position'], 3.25, atol=1e-9) | (df['position'] < 3.25)))
df2 = df[mask]

1e-9是通用的精度阈值，可根据你的数据精度调整。

方法2：截断小数位数

如果你的数据只需要保留3位小数的精度，可以先截断多余小数位再比较：

# 截断position到3位小数（避免四舍五入）
truncated_pos = df['position'].apply(lambda x: int(x * 1000) / 1000)
# 筛选符合条件的行
mask = (truncated_pos < 2.75) | (truncated_pos > 3.25)
df2 = df[mask]

方法3：简化逻辑（直接剔除中间区间）

换一种逻辑，直接剔除position介于2.75到3.25之间的行（包含边界），同时处理精度：

# 剔除[2.75-1e-9, 3.25+1e-9]区间内的所有行
mask = ~((df['position'] >= 2.75 - 1e-9) & (df['position'] <= 3.25 + 1e-9))
df2 = df[mask]

额外修正 #

你的原代码存在语法错误：df[((df['position'] > 3.250)]多了一个左括号，正确写法是df[(df['position'] > 3.250)]。

内容的提问来源于stack exchange，提问作者Aleksander