使用Python Scrapy爬取带# URI片段的URL无法提取数据如何解决
爬虫爬取带#!哈希路由页面无数据问题解决方案
问题原因
你爬取的目标站点采用前端哈希路由实现页面跳转,#!后带的参数属于前端路由参数,默认不会发送到服务端。你观察到爬虫自动将#!后的内容转码为_escaped_fragment_查询参数,是爬虫默认开启了Google AJAX爬取兼容机制,但该站点没有做对应服务端渲染适配,所以返回的页面没有你需要的动态渲染数据,自然无法通过xpath提取到内容,转义后的响应URL也无法正常跳转至目标页面。
解决方法
- 方法1:使用无头浏览器渲染页面
直接使用支持JS渲染的爬虫工具(如Playwright、Selenium,或者Scrapy搭配scrapy-playwright/scrapy-splash插件),直接请求你最初设置的start_urls中的原始地址,等待页面JS执行、内容渲染完成后再提取数据,即可正常获取目标内容。
示例配置(Scrapy+Playwright):start_urls = [ 'https://onlinelibrary.ectrims-congress.eu/ectrims/#!*menu=6*browseby=3*sortby=2*media=3*ce_id=1428' ] # 开启playwright渲染配置 meta = { "playwright": True, "playwright_include_page": True, "playwright_page_goto_kwargs": {"wait_until": "networkidle"} } - 方法2:直接抓取后端数据接口
打开浏览器F12开发者工具,切换到「网络」面板,筛选「XHR/ Fetch」请求,刷新目标页面后就能看到前端动态拉取数据的接口,直接构造请求访问该接口,返回的JSON数据可以直接解析,比解析HTML效率更高,也不需要处理JS渲染问题。 - 方法3:补全请求头参数
部分站点会对爬虫的默认请求头做拦截,你可以把浏览器正常访问时的请求头全量复制到你的爬虫配置中,重点修改User-Agent为正常浏览器标识,必要时补充Referer、Cookie等参数,避免被站点反爬拦截。
内容的提问来源于stack exchange,提问作者Sourav Singh
相关产品推荐
相关产品推荐

