为何Wget无法递归下载目标地址全部文件？（已找到方案但不解原理）

一、有效命令的参数拆解 #

你成功下载的命令wget -r -np -nd https://pubs.broadinstitute.org/diabimmune/data/9/ -H，每个参数的作用如下：

• -r：递归下载模式，会顺着当前页面里的所有链接，逐层爬取关联文件，是实现批量下载的核心。
• -np：禁止回溯到父目录，确保wget只在/diabimmune/data/9/这个指定子目录范围内爬取，不会跑到上层目录下载无关内容。
• -nd：不创建层级目录，所有下载的文件都会直接存到你执行命令的当前文件夹，不会复刻网站的目录结构，方便统一管理。
• -H：允许跨主机下载，这是解决你之前只拿到index文件的关键。目标页面里的数据集文件，实际链接可能指向了同一域名下的不同服务器节点，wget默认只会爬取和当前URL完全同主机的内容，加了这个参数后，它才会跟着这些跨主机的链接去下载真实的数据集文件。

二、域名相关问题与规避方法 #

为什么会只下载到index文件？ #

部分网站会把数据集这类静态资源放在主域名对应的不同服务器（或CDN节点）上，页面里的文件链接看起来和当前域名一致，但实际指向的是不同主机。wget默认限制只爬取同主机内容，所以无法找到真实的数据集文件，只能下载当前页面的index索引。

规避方法 #

1. 优先尝试添加-H参数，这是解决跨主机下载最直接的方式。
2. 如果-H无效，可以用--span-hosts（和-H功能一致）配合--domains=指定域名，比如--domains=broadinstitute.org，限定只爬取该域名下的所有主机，避免wget误爬其他无关网站。
3. 下载前可以打开目标页面，右键查看源代码，搜索你需要的文件后缀（如.fastq、.txt），检查这些文件的链接域名是否和当前页面域名一致，若不一致，就需要添加跨主机参数。

内容的提问来源于stack exchange，提问作者Andy