Python pandas使用chunksize读取大CSV的两种实现差异及性能疑问
两种chunksize实现的核心差异
功能逻辑差异
- 第二种实现没有任何自定义数据加工逻辑:它把
chunks迭代器返回的所有原始数据块直接传给pd.concat拼接,最终得到的final和直接全量读取CSV的结果完全一致。哪怕设置了chunksize=1000000,所有原始数据最终还是会被加载进内存,本质和不带分块参数的pd.read_csv("large_data.csv")没有区别。这是很多使用chunksize的常见误区:只要写了分块参数就等于能处理超内存大文件,实际上这种写法只是限制了每次磁盘IO的读取大小,并没有降低内存占用,一旦文件总大小超过内存上限依然会触发OOM报错。
- 第一种实现内置了逐块处理流程:在迭代每个数据块的过程中,会先对当前块执行自定义的
chunk_filtering过滤/清洗逻辑,只把处理后的结果存入列表,最后拼接得到的final是经过筛选/加工的数据集,而非原始全量数据。这才是分块读取的典型使用场景——利用分块加载的特性,在每块读入内存后立刻裁剪不需要的内容,避免全量原始数据撑爆内存。
性能差异
性能表现完全取决于chunk_filtering的实际逻辑:
- 如果
chunk_filtering是真实有效的过滤逻辑(比如筛选符合条件的行、删除冗余列、剔除无效数据):- 第一种实现的内存占用远低于第二种:第二种会在内存中留存整个CSV的全部原始数据,根本无法处理超过内存容量的超大文件;第一种只会留存过滤后的有效数据,只要最终结果的大小在内存可承受范围内,哪怕原始CSV有几十G也能正常处理。
- 这种场景下第一种的整体运行速度也更快:省去了全量原始数据的拼接、内存拷贝开销,只需要处理和拼接最终需要的小体量数据。
- 如果
chunk_filtering是无操作(即直接返回原数据块,没有做任何修改):- 两者最终输出的数据集完全一致,但第一种的运行速度会略慢于第二种:手动循环遍历迭代器、逐块append到列表的路径,比pandas内部直接对迭代器做优化拼接的路径多了一层Python层的循环开销,效率稍低。
内容的提问来源于stack exchange,提问作者Peter Chen
相关产品推荐
相关产品推荐

