You need to enable JavaScript to run this app. CentOS 8下Go应用调用rm命令删旧文件运行一段时间失效,重启暂恢复
优惠活动
大模型
产品
解决方案
定价
更多

CentOS 8下Go应用调用rm命令删旧文件运行一段时间失效,重启暂恢复

问题根本原因定位

既然你之前直接用Go标准库os.Remove/os.RemoveAll删除时就已经复现了完全相同的故障,说明问题和调用外部rm命令没有关系,核心是Go进程长时间运行后触发了资源、内核层面的状态异常,按出现概率从高到低排序:

  • 高概率:进程文件句柄泄漏耗尽资源上限
    CentOS 8默认给普通进程分配的最大打开文件数一般是1024或4096。你现在的实现是每检测到一个待删文件就启动一个goroutine,还派生外部rm进程执行删除:这类子进程会继承父进程的文件描述符,如果之前的goroutine没有正确回收管道资源、业务流程里生成文件时打开句柄后没有正常关闭,连续运行1天左右就会把进程可用的文件描述符占满。此时不管是调用外部rm还是直接用Go原生删除方法,内核都会拒绝操作,因为你的代码没有捕获具体的错误输出,只会模糊打印exit status 1。
    这完全匹配你描述的故障规律:重启服务后所有泄漏的句柄被系统回收,删除操作立刻恢复正常;运行一段时间句柄攒到上限后,删除功能就会失效。
  • 次高概率:待删文件被进程持有句柄处于占用状态
    服务生成各类文件的流程中,如果os.OpenFile打开文件后没有正确执行Close,会导致文件句柄被一直挂在Go进程上。此时执行删除操作时,内核会返回Resource temporarily unavailable类的错误,阻止文件被删除。重启服务后所有挂起的句柄被释放,文件不再被占用,删除操作自然恢复;运行一段时间后新的文件又被未关闭的句柄占住,故障再次复现。
  • 低概率:CentOS 8默认的fapolicyd审计服务误拦截
    CentOS 8默认开启的fapolicyd应用防护服务会随运行时间累积缓存规则,可能误判Go进程派生rm执行删除的行为是恶意操作,直接拦截内核的unlink系统调用,返回权限错误。这类拦截也是运行一段时间后才会触发,服务刚启动时防护规则还未完全加载,不会影响正常操作。
无重启排查步骤

故障状态下(不要重启服务)依次执行操作定位根因:

  • 找到Go服务的进程PID,执行cat /proc/<PID>/limits查看Max open files的上限值,再执行lsof -p <PID> | wc -l看当前已经打开的句柄数,如果已经达到上限,就是句柄耗尽的问题。
  • 手动在终端执行和日志里完全相同的rm -frv <文件路径>命令,如果手动能正常删除,说明问题完全出在Go进程本身;如果手动也删不掉,再执行lsof <报错文件路径>看哪个进程持有该文件的句柄。
  • 修改代码补全错误捕获逻辑:不要只打印模糊的exit status 1,对于Go原生删除方法直接打印完整err内容,对于调用外部rm的逻辑单独捕获stderr管道的输出,拿到内核返回的真实错误信息,避免靠猜定位问题。
彻底解决方案
  • 替换现有删除实现:去掉调用外部rm的逻辑,换回Go原生的os.RemoveAll,同时改掉无限开goroutine并发删除的写法,引入固定容量的worker处理池,最多同时3-5个goroutine执行删除操作,避免goroutine和文件句柄无限制增长。
  • 全链路排查句柄泄漏:所有打开文件的代码块写完后立刻执行defer file.Close(),日常运维中定期用lsof检查Go进程的句柄数,确保句柄数随运行时间不会持续无限增长。
  • 调高系统资源上限:如果Go服务是通过systemd管理的,执行systemctl edit <服务名>添加配置LimitNOFILE=65535,把进程的最大打开文件数从默认的几千调高到几万,从根源上避免句柄耗尽的问题。
  • 验证fapolicyd的影响:故障状态下临时执行systemctl stop fapolicyd,再触发一次删除操作,如果恢复正常,就把Go服务路径、rm命令路径加入fapolicyd的白名单规则,避免被误拦截。
  • 确保文件无占用后再执行删除:生成完文件、关闭句柄后,再把文件路径加入待删除队列,不要在文件还在被写入、句柄未释放的时候就尝试删除。

内容的提问来源于stack exchange,提问作者xiaose

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 22:06:04