如何快速删除百万级文件？基于BOOST1.63与CentOS6.5的优化需求

我之前也碰到过几乎一模一样的场景：用Boost 1.63的boost::filesystem::remove_all删包含百万级1MB小文件的嵌套文件夹，单线程逐个调用unlink和rmdir确实慢到离谱，10分钟都算正常。针对CentOS 6.5这个环境，分享几个亲测有效的提速方案：

1. 直接调用系统命令（最省心的高效方案） #

系统自带的rm和find命令在处理大量文件时做了底层优化，比Boost单线程逐个调用系统调用快得多。如果直接用rm -rf报错（比如参数列表过长），可以用以下组合：

并行删除所有文件 #

用find配合xargs开启多进程并行删除，比如开4个进程，每次批量删1000个文件：

find /path/to/your/dir -type f | xargs -P 4 -n 1000 rm -f

• -P 4：启动4个并行进程（根据服务器CPU核心数调整，一般4-8个合适）
• -n 1000：每次给rm传递1000个文件路径，减少系统调用次数

清理空文件夹 #

文件删完后，再递归删除所有空文件夹：

find /path/to/your/dir -type d -empty -delete

在C++代码里可以用system()或者popen()调用这些命令，注意处理路径中的特殊字符（比如空格），可以用boost::filesystem::path::string()转成标准路径后再拼接命令。

2. 自己实现多线程删除逻辑 #

如果不想依赖系统命令，可以自己写多线程版本的删除逻辑：

• 第一步：递归遍历目标文件夹，把所有文件的绝对路径收集到一个线程安全的队列里（比如用boost::lockfree::queue或者std::queue加std::mutex）
• 第二步：启动N个工作线程（比如4-8个），每个线程从队列里取文件路径，调用::unlink()删除文件
• 第三步：所有文件删除完成后，再从最深层的文件夹开始，递归调用::rmdir()删除空文件夹
  这种方式完全可控，能根据系统资源调整线程数，避免IO过载。

3. 利用挂载点特性（极端场景下的极速方案） #

如果要删除的文件夹是单独的挂载点，那最快的方法就是直接卸载后重新格式化：

umount /your/mount/point
mkfs.ext4 /dev/your-device
mount /dev/your-device /your/mount/point

这个操作几乎是瞬间完成，但前提是挂载点里只有要删除的内容，没有其他重要数据，而且你有root权限。

4. 升级依赖（长期优化方案） #

Boost 1.63是比较老的版本了，后续的Boost版本（比如1.70+）对filesystem::remove_all做了不少性能优化，包括并行处理的支持。另外C17的std::filesystem::remove_all在主流编译器实现中也做了优化，性能比老版本Boost好很多。不过CentOS 6.5默认的gcc版本（4.4.7）不支持C17，需要通过devtoolset升级gcc到7+版本才能使用。

注意事项 #

• 所有方案都要确保进程有足够的权限删除目标文件和文件夹
• 并行删除时不要开过多线程，避免磁盘IO饱和反而降低效率
• 生产环境使用前，一定要在测试环境验证方案的安全性和性能

内容的提问来源于stack exchange，提问作者werk