使用Python与Scrapy开发爬虫,如何提取URL无跳转的弹窗内文本内容
核心结论
这类fancybox实现的弹窗场景,完全不需要强制使用Selenium模拟点击操作,绝大多数情况是没有定位到弹窗内容实际加载的独立后台接口,而非必须上浏览器自动化方案。
常见实现逻辑拆解
fancybox作为主流的前端弹窗组件,90%以上的站点实现逻辑都是:
- 初始列表页加载时,不会把所有代理商的全量详情存在页面DOM里
- 用户点击「完整详情」按钮时,前端通过异步AJAX请求单独拉取对应条目的详情HTML/JSON数据,再渲染到弹窗容器中
- 整个过程不会触发页面跳转、不会改动地址栏URL,这也是观察到URL无变化的原因
直接在初始列表页的DOM中查找弹窗内字段的XPath,自然会取不到值,因为这部分内容根本不在第一次请求返回的页面源码里。
可落地的排查&调整步骤
- 定位实际详情接口
- 打开目标列表页,按F12调出开发者工具,切换到「网络(Network)」面板,勾选
XHR/Fetch过滤选项 - 保持网络面板处于开启状态,手动点击任意条目旁的「完整详情」按钮
- 查看面板中新产生的请求,点开后即可看到响应内容——这部分就是弹窗里展示的全部字段的原始数据,每个条目对应的请求地址就是需要单独发起Scrapy请求的详情链接
- 打开目标列表页,按F12调出开发者工具,切换到「网络(Network)」面板,勾选
- 修正现有代码的逻辑缺陷
- 当前列表提取逻辑仅能抓到第一条匹配的行:原代码用
.get()取XPath结果,只会返回第一个匹配节点的内容,要遍历整页所有结果,需要先提取所有结果行的节点集合,再逐行遍历取值 - 弹窗字段提取逻辑要迁移到详情接口的回调方法中,不能在列表页的parse方法里直接取值
- 当前列表提取逻辑仅能抓到第一条匹配的行:原代码用
- 调整后的参考代码片段
import scrapy from FirstScrape.items import FirstscrapeItem class FirstSpider(scrapy.Spider): name = "spiderman" start_urls = [ "https://www.eaab.org.za/agent_agency_search?type=Agents&search_agent=+&submit_agent_search=GO" ] def parse(self, response): # 提取页面中所有带有效数据的结果行 result_rows = response.xpath("//table//tr[td]") for row in result_rows: item = FirstscrapeItem() item['name'] = row.xpath("./td[1]/text()").get(default="").strip() item['status'] = row.xpath("./td[2]/text()").get(default="").strip() # 从行内提取详情按钮的跳转地址 detail_path = row.xpath(".//a[contains(text(), '完整详情')]/@href").get() if not detail_path: continue # 拼接为完整的详情URL detail_full_url = response.urljoin(detail_path) # 发起异步详情请求,把已收集的列表字段通过meta传递到回调方法 yield scrapy.Request( url=detail_full_url, callback=self.parse_agent_detail, meta={"item": item} ) def parse_agent_detail(self, response): # 从meta中取出之前缓存的item对象 item = response.meta["item"] # 直接从详情接口返回的DOM中提取弹窗内的字段 item['first'] = response.xpath("//tr[td[contains(text(), '名')]]/td[2]/text()").get(default="").strip() yield item
什么情况才需要考虑Selenium
只有当排查完所有网络请求,确认弹窗内容既没有独立的详情接口、所有展示数据也完全通过前端JS在浏览器端加密生成、无法通过直接请求拿到原始数据时,才需要引入Selenium这类浏览器自动化方案。这类场景在正规公开站点中占比极低,完全不需要一开始就上重型工具。
内容的提问来源于stack exchange,提问作者Vilje Visser
相关产品推荐
相关产品推荐

