xml.etree.ElementTree的.fromstring()方法是否有输入字符串大小限制？

1. xml.etree.ElementTree模块.fromstring()方法的输入大小限制 #

该方法没有在官方文档中声明明确的固定大小上限，但实际运行中存在两个隐含约束，可处理的输入字符串大小远低于系统总可用内存：

• Python 3.9版本的cElementTree底层C实现采用32位有符号整数存储输入字符串长度，理论最大支持的输入长度为2^31-1字节（约2GB）。
• 底层依赖的expat XML解析器需要连续内存块加载完整输入字符串，即使系统总内存充足，如果虚拟地址空间中没有足够大的连续空闲块，也无法完成解析。

2. 两类异常的触发逻辑与关联 #

两类异常均由输入字符串过大触发，属于同一限制的不同阶段表现：

• 输入字符串大小处于1GB~2GB区间时，长度未超过32位int的最大值，但系统无法分配出足够大的连续内存块给expat作为输入缓冲区，expat返回内存不足错误，被上层封装为xml.etree.ElementTree.ParseError: out of memory抛出。
• 输入字符串大小超过2GB时，长度已经超出32位有符号int的最大值，C层面参数类型转换直接失败，尚未进入XML解析步骤就抛出OverflowError: size does not fit in an int。

补充说明：使用.parse()方法或lxml模块可规避该问题的原因是，.parse()采用流式读取解析，不需要一次性加载整个文件到内存，也不需要连续大内存块；lxml的底层实现对大文件长度的支持更完善，不存在32位int的长度限制。

内容的提问来源于stack exchange，提问作者B-MpouXV