pandas1.2.1读取Excel时触发C int转换溢出的问题求解
问题根因
- 你遇到的
OverflowError: Python int too large to convert to C int报错发生在Excel读取引擎解析单元格原始值的前置环节,还没走到pandas应用converters类型转换的步骤,所以指定列转float的方案不生效是必然结果。 - 该报错是pandas 1.2.1版本与默认搭载的openpyxl读取引擎的兼容bug:当Excel单元格内存储的整数值超过C语言32位有符号整数上限(2147483647,约2e9)时,openpyxl底层会强制将值转为C int类型,直接触发溢出。哪怕point列的数值本身远低于溢出阈值,只要同个文件内存在超范围的seq值,整个读取流程就会中断报错,这也是为什么你删掉seq、point两列后文件可以正常读取的原因——删掉seq列后就没有触发溢出的单元格了,连带移除point列才恢复正常,和point列本身的数值大小没有直接关系。
- 你之前参考的
csv.field_size_limit调整方案完全不适用于xlsx格式,这是csv文件读取的专属配置,和Excel解析链路无关,自然找不到对应的调整入口。
有效解决方法(按优先级排序)
- 方案1:指定使用兼容的xlrd引擎读取xlsx文件
新版本xlrd已经不支持xlsx格式,需要安装对应兼容版本:
执行安装命令:pip install xlrd==1.2.0
读取文件时手动指定引擎参数:pd.read_excel("file_name.xlsx", engine="xlrd")
该版本xlrd对大数值的解析直接使用Python原生int类型,不会触发C层面的类型转换溢出,碰到seq列2.41e+12这类数值可以正常读取,不需要额外加converters参数,读取完成后可按需对列做类型转换。 - 方案2:降级openpyxl到兼容pandas 1.2.1的版本
上述溢出bug是openpyxl 3.0.0及以上版本引入的解析逻辑问题,降级到2.6.4版本即可绕开:
执行安装命令:pip install openpyxl==2.6.4
降级完成后不需要修改原有读取代码,直接执行pd.read_excel("file_name.xlsx")即可正常解析。
注意:如果Ubuntu 18.04自带的Python版本(多为3.6/3.7)和降级后的openpyxl出现依赖兼容问题,优先选择方案1,不要强行调整版本。 - 方案3:预处理Excel源文件绕开触发条件
既然报错触发前提是引擎把单元格值当数值类型解析时碰到超32位范围的整数,可以在Excel里把seq列的单元格格式从“常规/数值”改成“文本”,重新保存文件,让引擎读取时直接按文本类型解析,跳过数值转C int的步骤。文件读取完成后,再通过pandas把seq、point列转成需要的数值类型即可。
注意:这种场景下不要在read_excel里额外加converters参数,因为报错发生在引擎取单元格值的阶段,还没到converters执行的环节,加了也不会生效。
避坑提醒
- 不要尝试在pandas层面查找所谓的“Excel字段大小限制”调整参数,这个报错不是pandas的字段读取限制导致的,是底层引擎的类型转换溢出问题,所有绕过引擎、直接在pandas读取参数层加配置的操作,都会因为报错发生在更靠前的阶段完全失效。
- 安装多个Excel读取引擎后,不要依赖pandas自动选择引擎的逻辑,一定要在
read_excel中手动指定engine参数,避免自动选中有兼容问题的新版本openpyxl触发报错。
内容的提问来源于stack exchange,提问作者haneulkim
相关产品推荐
相关产品推荐

