Ubuntu 20.04下读取百万小文件时C++程序性能衰减的原因及解决方法问询

首先得说，你观察到的这个现象非常典型——前4万文件快、后续速度暴跌，重启后再跑前N个依然快，核心问题就出在操作系统的页缓存（Page Cache）耗尽上，咱们一步步拆解：

为什么会出现性能衰减？ #

1. 页缓存的“红利”耗尽：
   Ubuntu这类Linux系统会把空闲内存用作页缓存，自动缓存你读过的文件内容。前4万个10KB的文件总共才400MB左右，很容易被装进内存缓存里，所以读取时直接从内存拿，速度自然飞快。但当处理到更多文件时，缓存被占满，新的文件只能从物理磁盘读取——磁盘IO的速度比内存慢几个数量级，性能直接跳水。
   而你重启后缓存清空，再读前N个文件又会被重新缓存，所以速度又变快，这完全符合缓存的特性。

2. 元数据缓存的额外开销：
   除了文件内容，系统还要缓存文件的元数据（比如inode、目录条目）。当单目录下有100万个文件时，目录条目本身就非常大，元数据缓存耗尽后，每次打开文件都要从磁盘读取元数据，这也会拖慢整体速度。

另外你已经排除了process_data的影响，说明问题完全出在文件读取和系统缓存层面，和数据处理逻辑无关。

怎么解决这个问题？ #

1. 从缓存与内存入手（最直接） #

• 扩容内存：如果硬件允许，直接加内存是最省心的办法——让更多文件能被缓存到内存里，后续读取都能命中缓存，性能就能保持稳定。
• 调整内核缓存参数（谨慎操作）：
  可以通过sysctl调整系统对缓存的回收策略，比如降低元数据缓存的回收优先级：

  # 临时生效，重启后会重置
  sudo sysctl -w vm.vfs_cache_pressure=50  # 默认是100，值越低越不容易回收目录/inode缓存
  sudo sysctl -w vm.dirty_background_ratio=10  # 调整脏页回写的阈值，避免缓存被频繁回收
  

  注意：修改内核参数前一定要搞懂参数含义，别瞎调导致系统不稳定。

2. 优化代码读取逻辑 #

• 用预读提示帮系统优化缓存：
  可以用posix_fadvise告诉系统你要顺序读取文件，让系统提前预读数据，提升缓存命中率：

  #include <fcntl.h>
  #include <unistd.h>
  
  void process_file(string& file_name) {
      int fd = open(file_name.c_str(), O_RDONLY);
      if (fd == -1) {
          // 别忘了加错误处理
          return;
      }
      // 提示系统按顺序预读整个文件
      posix_fadvise(fd, 0, 0, POSIX_FADV_SEQUENTIAL);
      
      ifstream ifs(fd);
      string s = read_file(ifs);
      close(fd);
  }
  

• 避免不必要的内存拷贝：你的read_file函数把整个文件读到字符串里再返回，如果process_data可以直接处理缓冲区数据，不妨把逻辑合并，减少字符串拷贝的开销，降低内存占用。

3. 文件系统与目录结构优化 #

• 拆分目录结构：绝对不要把100万个文件放在同一个目录下！单目录下大量文件会让目录条目查找变得异常缓慢。建议按文件名哈希、前缀或者日期拆分目录，比如每1000个文件放在一个子目录里：
  例如把文件abcdef1234放在ab/cd/子目录下，用文件名前几位拆分，这样查找文件时的元数据开销会大幅降低。
• 换用更适合小文件的文件系统：如果可以迁移数据，XFS相比Ubuntu默认的ext4，在大量小文件场景下的元数据性能要好很多，能显著提升文件打开和读取的速度。

4. 其他小技巧 #

• 尝试并行读取（注意度）：用线程池并行处理文件，但要注意磁盘IO的并行度——机械硬盘建议4-8线程，SSD可以适当增加，太多线程反而会导致IO竞争，性能下降。
• 不要用直接IO（除非特殊场景）：有些同学会想到用O_DIRECT绕过缓存，但这会让所有读取都走磁盘，性能只会更差，只适合不需要缓存的特殊场景。

内容的提问来源于stack exchange，提问作者user100123122