You need to enable JavaScript to run this app. 如何使用wget完整下载WordPress站点(含嵌套链接)及解决下载异常
优惠活动
大模型
产品
解决方案
定价
更多

如何使用wget完整下载WordPress站点(含嵌套链接)及解决下载异常

原命令存在的核心配置错误
  • --exclude-domains 用法完全错了:这个参数仅支持传入纯域名作为排除项,不支持带路径、查询参数、转义字符的完整URL。之前把一堆带路径、带参数的URL塞进去,wget直接触发参数解析异常,把大量正常的站内内页当成需要排除的外部域名,爬取链路被截断,最后就只能拿到每个目录下的默认index文件。
  • 排除规则写得太乱:列表里重复加了同个admin-ajax的排除项,还混了正反斜杠转义的不规范路径,把wget的路径匹配逻辑搞乱了,根本识别不出来页面里的嵌套跳转链接。
  • 链接不转相对路径是连锁问题:本来大部分内页就没被正常下载下来,--convert-links碰到指向本地不存在文件的链接,会直接跳过转换操作,文件里留的还是原来的远程绝对路径。
  • 递归层级卡太死:固定10层的递归上限,对内容站的深层分页、归档、标签页来说很容易不够,叠加上面的参数错误,爬不全的问题就更明显了。
修正后可直接运行的整站镜像命令
wget \
    --reject php,xml \
    --exclude-domains "wprp.sovrn.com" \
    --exclude "/wp-admin/*,/xmlrpc.php,/feed/,/wp-includes/wlwmanifest.xml,/wp-json/,/wp-content/plugins/ProProfile/ajax/*" \
    --user-agent "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" \
    --mirror \
    --convert-links \
    --adjust-extension \
    --page-requisites \
    --no-parent \
    --level=inf \
    --execute robots=off \
    --reject-regex ".*\?(.*email=|rsd|action=).*" \
    https://motamem.org/
配置调整对应的问题解决逻辑
  • 爬取不全、只拿目录index的问题修复:
  • 把域名级排除和路径级排除彻底拆开:只有第三方广告域名wprp.sovrn.com是真的要排除的外部域名,放在--exclude-domains里;原来塞进去的一堆站内路径、带动态参数的无效URL,全部移到--exclude(匹配站内固定路径)和--reject-regex(匹配带查询串的动态请求)模块,从根源上修复原参数的解析错误。
  • 删掉重复、转义不规范的排除规则,让wget的路径匹配逻辑回归正常,能正常识别页面里的所有嵌套跳转链接。
  • 把固定10层的递归限制改成无上限的--level=inf,不管站点嵌套多少层分页、归档、标签页,都能递归爬完,不会被层级限制卡住。
  • 本地文件链接不转相对路径的问题修复:
  • 等爬取逻辑修好,所有目标页面和关联资源都正常下载到本地后,--convert-links会自动识别所有本地存在的文件,把原来的远程绝对路径转成可以直接本地打开的相对路径。
  • 搭配--adjust-extension,给所有没有后缀的动态页面统一加上.html后缀,避免本地打开的时候因为文件没后缀出现链接失效。
  • 保留--page-requisites参数,把页面依赖的CSS、JS、图片等静态资源全部下下来,让链接转换的时候能匹配到对应的本地静态资源路径,不会出现资源链接还留着远程地址的情况。

内容的提问来源于stack exchange,提问作者Kiavash

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 23:24:08