You need to enable JavaScript to run this app. 使用Python与Scrapy开发爬虫,如何提取URL无跳转的弹窗内文本内容
优惠活动
大模型
产品
解决方案
定价
更多

使用Python与Scrapy开发爬虫,如何提取URL无跳转的弹窗内文本内容

核心结论

这类fancybox实现的弹窗场景,完全不需要强制使用Selenium模拟点击操作,绝大多数情况是没有定位到弹窗内容实际加载的独立后台接口,而非必须上浏览器自动化方案。

常见实现逻辑拆解

fancybox作为主流的前端弹窗组件,90%以上的站点实现逻辑都是:

  • 初始列表页加载时,不会把所有代理商的全量详情存在页面DOM里
  • 用户点击「完整详情」按钮时,前端通过异步AJAX请求单独拉取对应条目的详情HTML/JSON数据,再渲染到弹窗容器中
  • 整个过程不会触发页面跳转、不会改动地址栏URL,这也是观察到URL无变化的原因
    直接在初始列表页的DOM中查找弹窗内字段的XPath,自然会取不到值,因为这部分内容根本不在第一次请求返回的页面源码里。

可落地的排查&调整步骤
  1. 定位实际详情接口
    • 打开目标列表页,按F12调出开发者工具,切换到「网络(Network)」面板,勾选XHR/Fetch过滤选项
    • 保持网络面板处于开启状态,手动点击任意条目旁的「完整详情」按钮
    • 查看面板中新产生的请求,点开后即可看到响应内容——这部分就是弹窗里展示的全部字段的原始数据,每个条目对应的请求地址就是需要单独发起Scrapy请求的详情链接
  2. 修正现有代码的逻辑缺陷
    • 当前列表提取逻辑仅能抓到第一条匹配的行:原代码用.get()取XPath结果,只会返回第一个匹配节点的内容,要遍历整页所有结果,需要先提取所有结果行的节点集合,再逐行遍历取值
    • 弹窗字段提取逻辑要迁移到详情接口的回调方法中,不能在列表页的parse方法里直接取值
  3. 调整后的参考代码片段
import scrapy
from FirstScrape.items import FirstscrapeItem

class FirstSpider(scrapy.Spider):
    name = "spiderman"
    start_urls = [
        "https://www.eaab.org.za/agent_agency_search?type=Agents&search_agent=+&submit_agent_search=GO"
    ]
    
    def parse(self, response):
        # 提取页面中所有带有效数据的结果行
        result_rows = response.xpath("//table//tr[td]")
        for row in result_rows:
            item = FirstscrapeItem()
            item['name'] = row.xpath("./td[1]/text()").get(default="").strip()
            item['status'] = row.xpath("./td[2]/text()").get(default="").strip()
            # 从行内提取详情按钮的跳转地址
            detail_path = row.xpath(".//a[contains(text(), '完整详情')]/@href").get()
            if not detail_path:
                continue
            # 拼接为完整的详情URL
            detail_full_url = response.urljoin(detail_path)
            # 发起异步详情请求,把已收集的列表字段通过meta传递到回调方法
            yield scrapy.Request(
                url=detail_full_url,
                callback=self.parse_agent_detail,
                meta={"item": item}
            )
    
    def parse_agent_detail(self, response):
        # 从meta中取出之前缓存的item对象
        item = response.meta["item"]
        # 直接从详情接口返回的DOM中提取弹窗内的字段
        item['first'] = response.xpath("//tr[td[contains(text(), '名')]]/td[2]/text()").get(default="").strip()
        yield item

什么情况才需要考虑Selenium

只有当排查完所有网络请求,确认弹窗内容既没有独立的详情接口、所有展示数据也完全通过前端JS在浏览器端加密生成、无法通过直接请求拿到原始数据时,才需要引入Selenium这类浏览器自动化方案。这类场景在正规公开站点中占比极低,完全不需要一开始就上重型工具。

内容的提问来源于stack exchange,提问作者Vilje Visser

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 14:24:02