使用wget镜像网站时，如何绕过--no-parent规则下载指定例外域名的内容

Great question! The issue you're hitting is that --no-parent works on the path structure of each domain, but it doesn't account for sibling subdomains like www2.website.org which are treated as separate domains by wget. Here are two solid solutions to fix this while keeping the --no-parent behavior you want:

方案1：允许目标子域名，保留--no-parent的路径限制 #

Wget的--include-domains选项可以明确指定允许爬取的域名列表，结合--no-parent后，会分别对每个域名的路径生效——既允许www2.website.org下的目标内容，又不会爬取任何域名下的父目录内容。

修改后的命令如下：

wget --mirror \
--convert-links \
--adjust-extension \
--page-requisites \
--no-parent \
--wait=2 \
--progress=bar \
--show-progress \
--output-file=$LOG_FILE \
--directory-prefix=$DIR_PATH \
--include-domains=www.website.org,www2.website.org \
$URL

解释：

• --include-domains=www.website.org,www2.website.org：限定只爬取这两个子域名的内容，避免跑到无关域名
• --no-parent：会分别作用于两个子域名的路径，比如对www2.website.org/unique_path/there.pdf，不会爬取www2.website.org/下的其他父目录内容，完全符合你的需求

方案2：添加路径通配符过滤，进一步精细化控制 #

如果需要更严格的路径限制，可以搭配--accept选项，用通配符指定只允许包含目标路径的内容下载，双重保障不会爬取无关内容。

命令示例：

wget --mirror \
--convert-links \
--adjust-extension \
--page-requisites \
--no-parent \
--wait=2 \
--progress=bar \
--show-progress \
--output-file=$LOG_FILE \
--directory-prefix=$DIR_PATH \
--include-domains=www.website.org,www2.website.org \
--accept "*unique_path*" \
$URL

解释：

• --accept "*unique_path*"：只接受URL中包含unique_path的资源，确保只下载目标路径下的文件和页面
• 这个选项可以和前一个方案结合，进一步缩小爬取范围，避免意外下载子域名下的其他路径内容

额外提示 #

如果目标网站还有其他需要爬取的关联子域名，只需把它们添加到--include-domains的列表中即可；如果路径规则有变化，调整--accept的通配符表达式就能适配。

内容的提问来源于stack exchange，提问作者atapaka