pd.read_csv()中low_memory参数的内存机制疑问

核心结论：low_memory=True降低的是加载过程中的内存峰值，而非最终DataFrame的内存占用 #

你提到的“最终两者都占用完整内存”是对的，但这个参数的价值不在最终内存，而是在数据加载阶段减少内存压力，避免加载大文件时出现内存溢出。

底层工作机制 #

当low_memory=True（默认值）时： #

• pandas会将CSV文件拆分成**多个较小的块（chunks）**逐块读取
• 对每个块单独进行列数据类型的推断（比如判断某列是整数、浮点数还是字符串）
• 每处理完一块，就将其转换为对应类型的数据并合并到最终DataFrame中，同时释放该块的原始临时数据内存
• 若不同块中同一列的推断类型不一致（比如某块中列是整数，另一块是字符串），pandas会将该列统一转换为object类型以兼容所有数据

当low_memory=False时： #

• pandas会一次性读取整个CSV文件的原始数据到内存中
• 基于全量数据进行列类型推断，能得到更精准的类型（比如不会因为局部数据波动把整数列转成object）
• 加载过程中需要同时存储整个文件的原始数据（未转换的字符串形式）和正在构建的DataFrame，内存峰值会远高于low_memory=True的情况

关于内存节省的误区 #

• 若所有块的列类型一致，最终DataFrame的内存占用和low_memory=False几乎无差别
• 若出现列类型不一致导致转成object的情况，low_memory=True的最终内存反而可能更大（因为object类型比数值类型占用更多内存）
• 该参数的真正意义是：在加载超大CSV文件时，通过分块处理降低内存峰值，避免因一次性加载全量原始数据导致内存不足

内容的提问来源于stack exchange，提问作者Ali Haider