Pandas导出CSV时如何消除科学计数法并保留JSON长数值原值
长数字字段导出CSV精度丢失、被转科学计数法的解决方法
问题核心原因
Pandas读取JSON文件时会自动对字段做类型推断,像40007207255820210316这类长度超过15位的纯数字内容,会被默认识别为浮点数类型。64位浮点数的有效精度上限为15-17位十进制数,超出范围的低位数值会被自动截断,最终导出CSV时就会出现精度丢失、末尾补零、自动转为科学计数法的问题。
可落地的解决方案
方案1:读取JSON阶段强制指定字段类型(最稳妥,从根源避免问题)
在读入时就明确将长数字字段设为字符串类型,跳过自动数值推断流程,完全保留原始值:
# 注意dtype参数匹配JSON原始的字段名,不能使用重命名后的列名 data = pd.read_json( "file.json", dtype={"Key_number": str} ) data.rename(columns={"Key_number": "Key"}, inplace=True) data.to_csv("file.csv", index=False)
该方案从读入环节就锁定字段类型,不会触发浮点数转换,能100%保留JSON里的原始字符串值,是精度要求高的场景下的首选。
方案2:导出CSV前对字段做类型转换
如果不想调整读取环节的配置,可以在列名重命名完成后,手动对目标字段做类型转换:
data = pd.read_json("file.json") data.rename(columns={"Key_number": "Key"}, inplace=True) # 导出前将目标字段转为字符串格式 data["Key"] = data["Key"].astype(str) data.to_csv("file.csv", index=False)
注意:如果字段已经在读取阶段被识别为浮点数、发生了不可恢复的精度截断,这种方式转换出来的也是已经丢失精度的值,无法还原原始内容,因此优先推荐方案1。
方案3:导出环节关闭科学计数法转换
如果字段本身没有发生精度丢失,只是导出时自动被转成科学计数法格式,可以通过to_csv的内置参数配置调整输出规则:
data.to_csv( "file.csv", index=False, float_format="%.0f" # 强制浮点数输出为不带小数的整数字符串,禁用科学计数法 )
该方案只能修正输出格式,无法解决已经发生的数值精度截断问题,仅可作为补充配置使用。
内容的提问来源于stack exchange,提问作者tafmk
相关产品推荐
相关产品推荐

