scrape场景下无可用链接时如何查找网站的隐藏URL

1. 规则枚举验证 #

绝大部分内容站点的页面URL都遵循固定规则，通常为「固定前缀 + 自增数字ID/时间戳/短链标识」的结构，比如https://example.com/content/123456。
你可以先收集已公开的10~20条页面URL提炼通用规则，对可变的标识部分做合理范围的枚举，批量发请求验证返回状态码，返回200/302的即为存在的隐藏页面。
推荐用Python的aiohttp做异步请求，比同步requests效率高10倍以上，参考实现：

import aiohttp
import asyncio

async def verify_url(session, url):
    try:
        # 用HEAD请求减少带宽消耗，部分站点禁用HEAD的话换成GET加stream=True
        async with session.head(url, timeout=5) as resp:
            return url if resp.status in (200, 301, 302) else None
    except Exception:
        return None

async def enum_urls(base_template: str, start_id: int, end_id: int):
    async with aiohttp.ClientSession() as session:
        tasks = [verify_url(session, base_template.format(id)) for id in range(start_id, end_id+1)]
        results = await asyncio.gather(*tasks)
    # 过滤掉无效的None结果
    return [url for url in results if url]

# 示例使用，假设URL规则为https://example.com/post/数字ID
valid_urls = asyncio.run(enum_urls("https://example.com/post/{}", 12000, 12500))
print(valid_urls)

注意控制请求并发量和间隔，避免触发站点反爬封禁。

2. 后台接口抓包 #

多数现代站点的内容列表都是前端调用后端接口动态渲染的，你可以通过浏览器F12开发者工具的「网络」面板，筛选XHR/Fetch请求，找到返回内容列表的API接口。这类接口通常会返回全量的内容数据，包含还没在首页展示的页面URL，直接模拟调用接口即可批量获取。
如果接口有签名/鉴权校验，可以用mitmproxy拦截正常浏览时的请求头、参数，原样复制到爬虫请求中即可。

3. 站点公开资源排查 #

优先检查站点两个文件：

• robots.txt：部分站点会在robots文件中标记未公开的内容路径
• sitemap.xml：站点地图通常会提前收录所有已生成的页面，直接解析XML即可拿到完整URL列表

4. 搜索引擎收录查询 #

使用搜索引擎的site:域名语法搜索站点内容，搜索引擎爬虫的抓取节奏通常快于站点首页的更新频率，很多未在首页展示的页面会先被搜索引擎收录，直接从搜索结果中即可提取URL。

内容的提问来源于stack exchange，提问作者Nefarious62