Docker中运行Screaming Frog容器频繁挂起的调试方案

• 捕获实时日志
  启动容器时配置日志保留，或实时追踪输出：

  • 启动命令追加日志参数：docker run -v /<my-path>/screamingfrog-crawls:/home/crawls --log-driver json-file --log-opt max-size=10m --log-opt max-file=3 screamingfrog --crawl https://<my-domain> --headless --save-crawl --output-folder /home/crawls
  • 容器挂起后查看最后100行日志：docker logs --tail 100 <容器ID/名称>，或实时监控：docker logs -f <容器ID/名称>，寻找卡住前的关键输出或异常提示。

• 排查容器内进程状态

  • 进入挂起容器查看CPU占用：docker exec -it <容器ID> top，定位占用100%CPU的进程，确认是否为Screaming Frog主进程。
  • 用ps aux查看进程树，检查是否存在僵死子进程或异常衍生进程。

• 启用Screaming Frog详细日志
  在启动命令中添加--verbose或--debug参数（根据工具官方参数调整），让工具输出爬取细节，比如当前处理的URL、执行的任务阶段，定位卡住的具体环节。

• 限制CPU资源排查死循环
  启动容器时限制CPU核数，比如--cpus 2，观察是否仍会挂起：

  • 如果限制后恢复正常，大概率是进程在高CPU环境下触发了死循环或资源竞争逻辑。
  • 配合docker stats观察CPU占用波动，确认是否为持续满负载导致的卡住。

• 检查挂载目录与磁盘IO

  • 验证宿主机挂载目录权限：确保容器内运行用户对/home/crawls有读写权限，可在容器内执行touch /home/crawls/test.txt测试。
  • 检查宿主机磁盘状态：用df -h确认磁盘未占满，iostat查看IO负载，排除写入输出文件时的IO阻塞问题。

• 导出Java线程堆栈分析
  Screaming Frog是Java程序，可通过堆栈定位死循环：

  • 在容器内找到进程PID：ps aux | grep screamingfrog
  • 用jstack <PID>导出线程堆栈，查看占用CPU的线程执行逻辑，判断是否为死循环或等待未释放的资源。
  • 若镜像无jstack，可在Dockerfile中添加OpenJDK工具包，或从宿主机复制jstack到容器内使用。

• 逐步排查参数与爬取目标

  • 换一个小型测试网站爬取，排除目标网站反爬机制或异常内容导致的解析卡住。
  • 逐步移除启动参数（比如先去掉--save-crawl），测试是否是特定参数触发的挂起问题。

内容的提问来源于stack exchange，提问作者Finglish