无法获取可点击网站详情页URL，求解决方案及Selenium使用建议

一、找到详情页URL的方法 #

• 检查元素的自定义属性与点击事件：选中条目元素，在开发者工具的「Elements」面板右侧查看「Event Listeners」里的click事件，追踪触发的JS逻辑；同时留意元素的data-*类自定义属性（比如data-company-id、data-slug），很多网站会用这些参数拼接详情页URL。
• 保留日志抓跳转请求：在「Network」面板勾选「Preserve log」，点击条目后，查看跳转的请求记录，详情页的URL会直接出现在请求的地址栏或跳转请求的Request URL里。
• 查看全局JS变量：在开发者工具的「Console」里输入window，查找类似__INITIAL_STATE__、__DATA__这类全局变量，很多动态渲染的网站会把页面数据（包括详情页路径）存在这里。
• 重新排查异步请求：刷新页面时，在「Network」面板切换到「XHR/Fetch」标签，仔细查看所有返回的JSON数据，列表条目对应的详情页URL或拼接参数（如ID、别名）往往藏在这些接口响应里。

二、爬取方案选择 #

• Selenium完全合适：因为目标网站的详情页URL是动态生成的，Selenium可以模拟浏览器的点击行为，直接获取跳转后的详情页地址；也能执行JS代码提取动态生成的URL，无需登录的场景下使用成本很低。
• 更高效的替代方案：如果能通过上述方法找到详情页URL的生成规则（比如用元素的data-id拼接成对应路径），或者找到加载列表数据的异步接口，那用requests直接请求接口、拼接URL的效率会远高于Selenium，因为不需要启动浏览器，资源消耗更小。

内容的提问来源于stack exchange，提问作者Hyaku