如何从网页首页查找动态URL？以搜索结果URL为例

直接抓取首页源码并过滤?=找不到目标URL，大概率是因为这类搜索结果页的链接不会直接以<a>标签形式出现在静态源码里，而是通过搜索表单提交时动态构造的。以下是几种实用的查找方法：

1. 分析搜索表单的HTML结构 #

打开浏览器开发者工具（按F12），切换到Elements面板：

• 找到页面上的搜索框，定位到它所在的<form>标签
• 查看<form>的action属性，这就是搜索请求提交的目标路径。比如abbeywhisky的搜索表单action值通常是/pages/search-results-page
• 结合网站域名和action路径，再加上搜索参数?q=，就能得到你要的基础URL：https://www.abbeywhisky.com/pages/search-results-page?q=

注：如果表单的method属性是GET（绝大多数搜索表单都是），提交时浏览器会自动把输入的关键词拼在?q=后面，形成完整的搜索结果URL。

2. 模拟搜索并抓包查看实际请求 #

• 在网站搜索框随便输入一个测试关键词（比如whisky），点击搜索按钮
• 切换到开发者工具的Network面板，找到第一个加载的请求，查看其完整URL。比如你会看到https://www.abbeywhisky.com/pages/search-results-page?q=whisky，去掉末尾的关键词部分，就是你需要的基础搜索URL

3. 检查网站的站点地图或 robots.txt #

• 访问网站的sitemap（通常是https://www.abbeywhisky.com/sitemap.xml），部分网站会收录搜索结果页的基础路径
• 查看robots.txt（https://www.abbeywhisky.com/robots.txt），里面可能会列出允许爬虫访问的搜索相关路径，帮助你定位目标URL

4. 处理动态渲染的单页应用场景 #

如果网站是SPA（单页应用），搜索表单可能是通过JavaScript动态生成的，静态源码里看不到完整的表单结构。这种情况下可以用无头浏览器工具（比如Puppeteer）加载页面后分析：

const puppeteer = require('puppeteer');
(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://www.abbeywhisky.com');
  // 定位搜索表单
  const searchForm = await page.$('form[role="search"]');
  if (searchForm) {
    // 获取表单的action属性
    const actionPath = await page.$eval('form[role="search"]', el => el.action);
    // 拼接成完整的基础搜索URL
    const baseSearchUrl = `${actionPath}?q=`;
    console.log(baseSearchUrl);
  }
  await browser.close();
})();

内容的提问来源于stack exchange，提问作者John Stepehns