如何查找某网站所有未被链接的子站点？

当然可以找到这类未被主站引用的隐藏子站点！下面是几种实用的方法，帮你定位到像www.foofoo.de/mouse这类直接可访问但没被主站链接的路径：

1. 目录爆破工具 #

这是最直接的方法，用工具基于字典去猜测可能存在的目录路径。常用的工具比如gobuster、dirb或者ffuf，举个gobuster的命令例子：

gobuster dir -u https://www.foofoo.de -w ./common-directories.txt

工具会逐个尝试字典里的路径，返回HTTP 200/301这类成功状态码的，就是存在的子站点。建议选择适配目标网站行业的字典（比如如果是宠物相关网站，就加些动物相关的词汇到字典里），能提高命中率。

2. 搜索引擎深度挖掘 #

有些隐藏路径可能曾经被搜索引擎抓取并索引过，哪怕主站后来去掉了链接。你可以用搜索引擎的高级语法：

• 搜site:foofoo.de，能列出搜索引擎收录的该域名下所有页面；
• 更精准的话，用site:foofoo.de inurl:/mouse（如果你有猜测的关键词），或者site:foofoo.de intitle:"宠物"这类，说不定能挖到意外的结果。

3. 检查站点地图 #

很多网站会生成sitemap.xml文件来告诉搜索引擎所有页面的路径，你可以直接访问https://www.foofoo.de/sitemap.xml看看。里面可能会列出所有子站点，包括那些没被主站链接的页面，这个方法简单又合规。

4. 分析页面源码与响应头 #

有时候隐藏路径会藏在主站的源码里，比如注释掉的链接、未启用的导航项；或者在HTTP响应头的Link字段里会关联相关路径。你可以：

• 右键主站页面，查看“页面源代码”，搜索有没有疑似路径的字符串；
• 用浏览器开发者工具的“网络”标签，查看主站加载时的所有请求，说不定能发现关联的隐藏资源路径。

注意事项 #

• 一定要遵守目标网站的robots.txt规则（访问https://www.foofoo.de/robots.txt查看），同时确保你的行为符合当地网络安全法规，未经授权的大规模爆破可能会触发网站的反爬机制，甚至带来法律风险；
• 有些网站会有IP封禁、验证码等反爬措施，使用工具时记得控制请求频率，必要时可以用代理池分散请求来源。

内容的提问来源于stack exchange，提问作者deeet