You need to enable JavaScript to run this app. 使用Python Scrapy爬取带# URI片段的URL无法提取数据如何解决
优惠活动
大模型
产品
解决方案
定价
更多

使用Python Scrapy爬取带# URI片段的URL无法提取数据如何解决

爬虫爬取带#!哈希路由页面无数据问题解决方案

问题原因

你爬取的目标站点采用前端哈希路由实现页面跳转,#!后带的参数属于前端路由参数,默认不会发送到服务端。你观察到爬虫自动将#!后的内容转码为_escaped_fragment_查询参数,是爬虫默认开启了Google AJAX爬取兼容机制,但该站点没有做对应服务端渲染适配,所以返回的页面没有你需要的动态渲染数据,自然无法通过xpath提取到内容,转义后的响应URL也无法正常跳转至目标页面。

解决方法

  • 方法1:使用无头浏览器渲染页面
    直接使用支持JS渲染的爬虫工具(如Playwright、Selenium,或者Scrapy搭配scrapy-playwright/scrapy-splash插件),直接请求你最初设置的start_urls中的原始地址,等待页面JS执行、内容渲染完成后再提取数据,即可正常获取目标内容。
    示例配置(Scrapy+Playwright):
    start_urls = [ 'https://onlinelibrary.ectrims-congress.eu/ectrims/#!*menu=6*browseby=3*sortby=2*media=3*ce_id=1428' ]
    # 开启playwright渲染配置
    meta = {
        "playwright": True,
        "playwright_include_page": True,
        "playwright_page_goto_kwargs": {"wait_until": "networkidle"}
    }
    
  • 方法2:直接抓取后端数据接口
    打开浏览器F12开发者工具,切换到「网络」面板,筛选「XHR/ Fetch」请求,刷新目标页面后就能看到前端动态拉取数据的接口,直接构造请求访问该接口,返回的JSON数据可以直接解析,比解析HTML效率更高,也不需要处理JS渲染问题。
  • 方法3:补全请求头参数
    部分站点会对爬虫的默认请求头做拦截,你可以把浏览器正常访问时的请求头全量复制到你的爬虫配置中,重点修改User-Agent为正常浏览器标识,必要时补充Referer、Cookie等参数,避免被站点反爬拦截。

内容的提问来源于stack exchange,提问作者Sourav Singh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 23:06:01