多进程读取同一CSV文件：开销、扩展性及访问限制咨询

核心问题分析 #

你的3核测试耗时反而更高，根本原因不是文件并发访问的限制，而是每个进程都在重复读取整个CSV文件——IO开销被放大的幅度超过了CPU并行带来的收益，这才导致多进程效率不如单进程。

文件并发访问的本质 #

现代操作系统的主流文件系统（如ext4、XFS、NTFS等）完全支持多进程以只读模式同时打开同一个文件，不存在同一时间仅能一个进程访问的限制。内核会通过页缓存（Page Cache）优化重复读取：第一个进程读取的文件内容会被缓存到内存，后续进程读取相同内容时直接从内存获取，不会重复触发磁盘IO。

现有代码的性能瓶颈 #

你的代码中，每个进程调用f(x)时都会完整打开并读取整个data.csv（另外代码里reader = reader(read_obj)应该是csv.reader(read_obj)，属于笔误）：

def f(x):
 with open('data.csv', 'r') as read_obj:
  reader = csv.reader(read_obj)
  for row in reader:
   #do something

当你用3个进程时，相当于要读取3次整个文件——哪怕有页缓存兜底，第一次读磁盘、后两次读内存，但如果你的业务逻辑CPU开销不大，整体耗时就会被重复读取的IO（哪怕是缓存IO）拖慢，反而比单进程更久。

多进程场景下的优化方案 #

如果你的目标是让多个进程并行处理文件内容，而非每个进程都处理全量数据，推荐以下优化方向：

• 预拆分文件：提前把大CSV按行拆分成多个小文件，每个进程处理一个小文件，彻底避免重复读取。
• 主进程分发数据：用一个主进程负责读取整个文件，将行数据通过multiprocessing.Queue分发给子进程处理，这样文件只被读取一次，CPU密集的处理逻辑并行执行。
• 内存映射文件：用mmap模块将文件映射到内存，多个进程共享这块内存区域，避免重复打开和读取文件的开销。

扩展性预判 #

如果不优化现有代码，哪怕换成核心数更多的CPU，性能只会持续下降——进程越多，重复读取文件的次数越多，IO开销（哪怕是缓存IO）会持续叠加，CPU并行的收益被完全抵消。

优化后：

• 若处理逻辑是CPU密集型，扩展性会随核心数增加而接近线性提升，直到内存或IO成为新瓶颈；
• 若处理逻辑是IO密集型，扩展性会受限于磁盘IO带宽，核心数增加到一定程度后性能不再提升。

内容的提问来源于stack exchange，提问作者BHK