Linux服务器执行rm -rf删大量文件致性能下降的优化方案咨询
大文件目录低影响删除实操方案
大量小文件删除导致整机性能下滑的核心原因是:删除操作会触发高密度的文件元数据读写,默认情况下rm、find、rsync等删除进程会抢占最高的CPU调度优先级和IO带宽,很容易把SSD的IO打满,影响其他线上业务;之前尝试的原生删除方案效果差,本质是没有做资源优先级隔离,直接在原目录上逐文件扫描删除才导致的资源抢占。
可落地的低影响删除操作
优先级隔离的后台删除(通用所有文件系统,无需业务调整)
不要直接运行裸的rm、find --delete、rsync删除命令,这类命令默认会以最高资源优先级运行,即使丢到后台也会抢占满IO。执行删除前必须加两层优先级降级:- 用
nice -n 19把进程的CPU调度优先级降到最低,让系统优先调度线上业务进程 - 用
ionice -c3把进程的IO调度优先级设为空闲级,只有系统IO带宽有剩余时才执行删除的读写操作
对应的命令示例:
# 低优先级逐文件删除,避免通配符匹配占内存 ionice -c3 nice -n 19 find /some/folder -mindepth 1 -delete之前用
find --delete、rsync方案删除效率低、触发性能波动的原因也在于此:裸跑的删除命令没有做优先级降级,和原生rm的资源抢占行为完全一致,加上上述优先级参数后,删除过程就不会干扰其他业务运行。- 用
毫秒级切空目录(零业务影响,百万级文件目录也适用)
逐文件删除的本质是重复读写目录项和inode元数据,对于超大规模目录完全没必要在原目录上做逐文件操作,同文件系统下的目录重命名是纯元数据操作,耗时仅毫秒级,完全不会触发磁盘IO压力:- 提前记录原目录的属主、权限属性:执行
stat /some/folder,把输出里的Uid、Gid、权限值记下来 - 直接将原目录重命名为临时删除目录:
mv /some/folder /some/folder_pending_delete - 按记录的属主、权限新建同名空目录,业务侧瞬间就会访问到空的目录,没有任何感知
- 把刚才低优先级后台删除的命令目标路径改成临时目录
/some/folder_pending_delete,后台慢慢跑删除流程即可
这个操作从根本上避免了前台业务的IO干扰,整个切目录过程不到100毫秒,不会触发任何性能波动。
- 提前记录原目录的属主、权限属性:执行
删除过程的IO压力优化
当需要删除的文件数达到百万级时,默认的文件系统元数据刷写策略会放大IO压力:- 默认ext4等文件系统每5秒就会强制把所有缓存的元数据刷写到磁盘,高频刷写会导致SSD的IO延迟飙升,可以在挂载参数里把
commit值调整为60,拉长元数据刷写间隔,减少同步IO对其他业务的影响。Premium SSD本身带掉电保护缓存,调整参数后的可靠性不会受影响。 - 绝对不要用
rm -rf /some/folder/*这类带shell通配的命令,当目录下文件数超过10万级时,shell会先把所有文件路径读入内存,很容易触发内存占用过高、swap换入换出的整机卡顿问题。
- 默认ext4等文件系统每5秒就会强制把所有缓存的元数据刷写到磁盘,高频刷写会导致SSD的IO延迟飙升,可以在挂载参数里把
特殊场景可选方案
- 如果使用的是btrfs、XFS这类支持子卷、快照的文件系统,可以将待删除目录所在的子卷做快照备份后,直接替换为指向空目录的新子卷,后台异步删除旧快照,删除效率更高。
- 如果需要加速删除过程,可以针对临时待删除目录单独做inode缓存清理,避免删除过程中重复缓存扫描占内存,但这个操作不要对业务运行中的目录执行。
内容的提问来源于stack exchange,提问作者whyte624
相关产品推荐
相关产品推荐

