使用HTTrack下载classcentral.com时遇1020错误的解决咨询

1020错误是Cloudflare人机验证拦截机制触发的结果，以下是针对HTTrack的具体解决步骤：

一、模拟真实浏览器请求 #

• 设置正确的User-Agent：打开HTTrack项目设置，找到“浏览器标识”选项，替换为当前主流浏览器的UA字符串，例如：

  Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36
  

• 启用Cookie支持：在设置中勾选“接受并发送Cookie”，Cloudflare依赖会话Cookie验证访问合法性。

二、导入已验证的浏览器Cookie #

• 用Chrome/Firefox打开https://www.classcentral.com/，完成Cloudflare的人机验证（滑块或验证码），确保能正常访问网站。
• 导出当前会话的Cookie：通过浏览器开发者工具（F12）进入“Application”（Chrome）或“存储”（Firefox）面板，复制classcentral.com下的所有Cookie内容。
• 在HTTrack的“自定义HTTP头”中添加：

  Cookie: [粘贴复制的Cookie内容]
  

三、降低请求频率避免被拦截 #

• 在HTTrack的“选项”界面，设置“请求之间的延迟”为2000-5000毫秒（2-5秒），减少请求密度。
• 将“最大并发连接数”调整为1-2，避免短时间内发送大量请求触发Cloudflare风控。

四、使用命令行参数启动HTTrack #

如果图形界面设置不生效，可直接用命令行配置所有参数，示例：

httrack https://www.classcentral.com/ -c -s -d "classcentral_mirror" --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36" --cookie "your_cookie_content" --delay 3000

参数说明：

• -c：保留并使用Cookie
• -s：仅下载目标网站内容，忽略外部资源
• -d：指定镜像文件存储目录
• --delay：设置请求间隔（单位：毫秒）

注意事项 #

• 严格遵守网站的robots.txt规则，仅抓取允许的路径，避免触发更严格的封禁。
• 若上述方法仍无效，说明网站Cloudflare防护等级较高，需确认是否符合网站服务条款，避免违规抓取。

内容的提问来源于stack exchange，提问作者Mustafa Ucar