使用HTTrack克隆ClassCentral网站，深度参数该如何设置？

参数设置方案 #

要仅克隆主页及主页直接包含的链接页面，参数应按以下配置：

• Max Depth（最大深度）：设为1
  HTTrack的深度计算以你输入的ClassCentral主页为深度0，主页上的直接跳转链接对应深度1。设置为1时，只会抓取起始页（深度0）和所有从起始页点击一次可达的页面（深度1），不会深入抓取这些二级页面内的后续链接。
• Maximum external depth（最大外部深度）：设为0
  该参数控制对目标站点外链接的抓取深度，设为0会完全跳过所有外部站点内容，避免无关资源拖慢下载进度。

如果用命令行启动HTTrack，对应的命令为：

httrack https://www.classcentral.com/ -r1 -x0

为什么设置2和2会下载很久？ #

当两个参数都设为2时：

1. Max Depth=2会触发主页→一级页面→二级页面的三层抓取，不仅会爬主页的直接链接，还会抓取这些一级页面内的所有后续链接，内容量大幅增加。
2. Maximum external depth=2会允许抓取外部站点的两层链接，这会引入大量第三方内容（比如广告、社交媒体跳转页、嵌入的外部资源等），进一步扩大下载范围和耗时。

额外可能的慢加载原因 #

除参数问题外，这些因素也可能导致下载耗时久：

• ClassCentral主页本身包含大量资源（高清缩略图、脚本文件、样式表等），单页面文件体积较大。
• 网站存在反爬机制，会限制HTTrack的抓取速度，避免服务器负载过高。
• HTTrack默认并发连接数较低，可在设置中适当调高（注意不要过度，防止触发反爬限制）。

内容的提问来源于stack exchange，提问作者Diego L