将Pandas DataFrame转为float32后低精度数值出现异常精度偏差

一、为什么float32会出现看似不该有的精度偏差？ #

首先要明确：十进制小数59.86本身无法被二进制浮点数（不管是float32还是float64）精确表示。

浮点数基于二进制存储，像0.86这类十进制小数转成二进制是无限循环的（类似十进制里的1/3=0.333...）。float32的尾数只有23位二进制位，只能存储有限位的二进制小数，截断后必然产生误差；而float64的尾数有52位，误差极小，小到Python默认打印时会自动隐藏，显示成你期望的59.86，但它实际存储的也是近似值。

当你把float64转成float32时，误差被放大到肉眼可见的程度，因此会出现59.86→59.860001的情况。

二、为什么转成float32后文件体积反而增大？ #

文件体积变化取决于输出库对float32的处理逻辑，核心原因是float32的误差导致文本表示变长，且部分库未针对float32做优化：

• Plotly生成的HTML：HTML会把图表数据以文本形式嵌入。float32的近似值需要更多字符表示（比如59.86变成59.860001，多了4个字符），大量这类数值累加后，文件体积自然上升。此外Plotly默认不会对float32做压缩或格式化截断，直接输出完整近似值字符串，进一步增加了体积。
• XlsxWriter生成的XLSX：Excel单元格数值默认用类似float64的格式存储，XlsxWriter写入float32时会先转成Python的float（即float64）再写入。同时因为float32存在可见误差，写入时会保存这些额外小数位，相比原本float64被隐藏的误差，需要更多存储空间；若未设置统一小数格式，Excel会保存所有误差位，导致文件体积增大。

三、可行的优化方案 #

1. 控制输出精度：

   • 写入Excel时给XlsxWriter指定小数格式：

     writer = pd.ExcelWriter('output.xlsx', engine='xlsxwriter')
     df.to_excel(writer, sheet_name='Sheet1')
     worksheet = writer.sheets['Sheet1']
     worksheet.set_column('A:Z', None, {'num_format': '0.00'})
     writer.close()
     

   • Plotly生成图表时设置数据显示精度：

     fig.update_layout(yaxis_tickformat='.2f')
     

   • 给DataFrame设置全局显示格式：

     pd.options.display.float_format = '{:.2f}'.format
     

2. 改用整数类型优化：
   如果数据只需要两位小数，可将数值乘以100转成int32（比如59.86→5986），内存占用比float32更小且无精度损失。写入文件时再除以100即可，能显著降低文件体积。

3. 确认内存优化效果：
   虽然文件体积变大，但内存中的DataFrame确实是float32，内存占用应为原来的一半（从102MB降到约51MB），这部分优化是有效的，仅输出环节需要调整。

内容的提问来源于stack exchange，提问作者GallopingNarwhal