Pandas apply/map 调用自定义旧式舍入函数时部分行结果异常
场景说明
- 需处理的金融类DataFrame中
CMO_($/MWH)列需按旧式舍入规则计算:保留2位小数,尾数为0.5时直接向上取整(例如754.275需舍入为754.28) - 原始数据结构如下:
INIT_DATE INIT_HOUR CMO_($/MWH) 0 2020-12-01 00:00:00 754.275 1 2020-12-01 01:00:00 728.130 2 2020-12-01 02:00:00 722.575 3 2020-12-01 03:00:00 722.045 4 2020-12-01 04:00:00 721.950 5 2020-12-01 05:00:00 721.035 6 2020-12-01 06:00:00 722.100 7 2020-12-01 07:00:00 739.925 8 2020-12-01 08:00:00 771.390 9 2020-12-01 09:00:00 797.415 10 2020-12-01 10:00:00 796.585 11 2020-12-01 11:00:00 791.875 12 2020-12-01 12:00:00 782.225 13 2020-12-01 13:00:00 783.540 14 2020-12-01 14:00:00 790.980 15 2020-12-01 15:00:00 815.555 16 2020-12-01 16:00:00 824.760 17 2020-12-01 17:00:00 782.265 18 2020-12-01 18:00:00 779.970 19 2020-12-01 19:00:00 784.640 20 2020-12-01 20:00:00 785.380 21 2020-12-01 21:00:00 785.840 22 2020-12-01 22:00:00 779.775 23 2020-12-01 23:00:00 763.775
原有实现逻辑
Python 3+默认采用银行家舍入规则,为适配旧式舍入逻辑,编写了自定义舍入函数_old_round,单独传入测试数值时输出结果完全符合预期:
def _old_round(n): """ Since Python 3+ the rounding is made through the Banker's Round Rule, this function uses the old rounding method (round up if 0.5). Args: n (float): A number with 3 thousands values after decimal point Returns: (float) : The rounded number now with 2 decimal places, but using the old round method Example: >>> _old_round(782.225) >>> 782.23 """ # 将数值乘以100匹配整数舍入精度 new_n = n * 100 # 使用Decimal库的HALF_UP规则做舍入 n_dec = Decimal(new_n).quantize(Decimal('1'), rounding=ROUND_HALF_UP) # 还原为原始数值格式 return float(n_dec / 100)
批量处理异常表现
使用Pandas的apply/map方法对CMO_($/MWH)列批量执行舍入计算时,仅索引12对应的数值(原始值782.225)计算结果错误,预期为782.23,实际输出782.22,其余所有行的计算结果均符合规则。
执行代码:
df['ROUNDED_CMO'] = df['CMO_($/MWH)'].apply(_old_round) # lambda形式的map、apply调用均复现同一问题 df['ROUNDED_CMO'] = df['CMO_($/MWH)'].map(lambda x : _old_round(x)) df['ROUNDED_CMO'] = df['CMO_($/MWH)'].apply(lambda x : _old_round(x))
异常输出对应行:
INIT_DATE INIT_HOUR CMO_($/MWH) ROUNDED_CMO 12 2020-12-01 12:00:00 782.225 782.22
运行环境为Windows 10下的Miniconda环境,对应版本为pandas 1.1.3、Python 3.6.12、jupyter-notebook 6.1.4。排查阶段已尝试math.ceil、numpy.ceil、Decimal库各类舍入参数、公开技术方案的自定义实现,该异常始终无法修复。
问题根因
错误来源是二进制浮点数的精度存储偏差:
- IEEE754双精度浮点数无法精确存储所有3位小数的数值,例如782.225的实际存储值略小于书写值782.225,近似为782.2249999999999
- 原实现中第一步先对原始浮点数执行
n * 100的算术运算,会进一步放大这个精度偏差——原本略小于782.225的数值乘以100后,结果为78222.499999...,而非预期的78222.5 - 后续将这个带偏差的数值传入Decimal做舍入时,因整数部分后的尾数小于0.5,会直接向下舍入为78222,最终输出782.22,不符合规则
单独传入字面量测试时结果正常,是因为测试场景下的字面量存储、计算路径和Pandas列批量取数的计算路径存在细微差异,才导致问题仅在批量处理时暴露。
修复方案
调整舍入函数的构造逻辑,绕开二进制浮点数的算术运算偏差,直接基于数值的精确字符串构造Decimal对象做舍入:
from decimal import Decimal, ROUND_HALF_UP def _old_round(n): # 直接将原始浮点数转为字符串构造Decimal,规避精度偏差 n_dec = Decimal(str(n)).quantize(Decimal('0.01'), rounding=ROUND_HALF_UP) return float(n_dec)
调整后批量处理时,索引12的782.225可正确得到782.23的结果,其余行的计算逻辑不受影响。
注意:切勿对原始浮点数做算术运算(如乘100、加小数偏差)后再传入Decimal做舍入,这类操作会直接引入无法修正的精度误差。
内容的提问来源于stack exchange,提问作者Ircb
相关产品推荐
相关产品推荐

