多TSV文件加载提速：法国公共药品数据库解析性能测试疑问

性能差异完全正常，核心原因是任务类型与并行模型不匹配 #

你的场景属于CPU密集为主、IO开销极低：

• 最大文件仅4MB、2万行，本地文件读取的IO耗时几乎可以忽略（操作系统页缓存会直接把小文件加载到内存），大部分时间都消耗在数据解析转换（日期/数值转换、namedtuple实例化）这类纯CPU操作上。

不同并行方式的额外开销完全抵消了并行收益：

• 多线程（ThreadPool）：Python的全局解释器锁（GIL）会让CPU密集型任务的线程实际串行执行，加上线程调度、任务分发的额外开销，反而比顺序执行慢。
• 多进程（Pool）：进程间的内存拷贝、通信开销远高于你的任务计算量，并行带来的收益完全被这些额外成本覆盖，导致总耗时更长。
• 异步加载（asyncio+aiofiles）：异步IO的优势是处理高延迟IO（比如网络请求），但本地小文件的IO是同步且极快的，事件循环调度、协程切换的额外开销完全没必要，自然成为最慢的方式。

用line.strip('\n').split('\t')替代csv模块提速40%也合理 #

csv模块是通用CSV/TSV解析库，需要处理各种边缘场景：

• 带引号的字段、转义字符、自定义分隔符、空值处理等，做了大量额外校验和逻辑。
• 而你的TSV格式规整，没有复杂字段，直接用split('\t')跳过了所有冗余处理，开销极低，因此能获得大幅性能提升。

后续优化建议 #

• 聚焦CPU解析逻辑优化：
  • 用普通元组替代namedtuple（属性访问有轻微开销），或用dataclasses配合__slots__减少内存开销和访问耗时。
  • 批量处理解析逻辑，比如一次性读取所有行再批量转换，减少循环的额外开销。
• 缓存解析结果：由于文件定期更新，可将解析后的数据缓存到内存，更新间隔内重复请求直接复用缓存，避免重复解析。
• 仅在文件规模变大时考虑并行：如果后续文件增长到几十MB以上，IO和解析总耗时足够大时，多进程才能体现出优势（此时进程开销占比降低）。

内容的提问来源于stack exchange，提问作者Michael Marx