使用Scrapy能否点击无href仅含onclick属性的按钮？

针对该场景的两种解决方案 #

这种href="#"绑定onclick点击事件的按钮，本质是靠JS逻辑触发后续动作，不需要依赖href属性取值，可根据场景选择以下处理方案：

优先用原生Scrapy实现，无需额外工具 #

• 打开浏览器开发者工具的「网络」面板，过滤XHR/ Fetch类型请求，点击目标按钮，抓取出点击后实际调用的后端接口地址、请求参数、请求头规则
• 直接在Scrapy中构造符合规则的请求，即可拿到对应数据，不需要模拟点击操作
• 如果onclick逻辑只是跳转到固定页面，直接从JS代码里提取目标地址，构造Scrapy请求即可

JS逻辑复杂时搭配渲染插件使用 #

如果onclick绑定的逻辑经过加密、参数动态生成，难以逆向还原接口，可搭配Scrapy的渲染插件处理：

• 推荐使用scrapy-playwright插件，支持直接模拟点击按钮动作，等待页面JS执行完成、数据加载完成后再提取内容
• 也可选择scrapy-splash插件，可满足基础的JS渲染需求

不需要更换整套爬虫工具，Scrapy生态的插件基本可以覆盖这类场景的需求。

内容的提问来源于stack exchange，提问作者user16241255