为何Scrapy Splash返回原始URL？技术疑问求助

我来帮你理清这个困惑～其实你看到的这个现象是Splash的默认设计行为，完全正常，而且你要的渲染后页面内容其实已经拿到了，只是响应的URL字段被Splash替换成了原始目标URL而已。

为什么响应URL是原始地址？ #

当你通过Splash的render.html接口请求页面时，Splash完成渲染后，会自动把响应的url属性设置为你要爬取的原始目标URL（也就是https://www.meetup.com/.../attendees/），这么做的目的是为了兼容Scrapy的核心功能：

• 比如Scrapy的链接去重机制（DupeFilter），会基于原始URL判断是否已经爬过，而不是Splash的代理URL；
• 还有allowed_domains的校验，也需要基于真实的目标域名，否则会被判定为非法域名。

从你的日志里也能看出来：请求行里的via http://localhost:8050/render.html已经明确表明这个请求是通过Splash接口发起的，Splash确实帮你处理了渲染逻辑。

怎么确认已经拿到渲染后的内容？ #

你可以在爬虫的回调函数里打印response.body的内容，对比直接在浏览器访问原始URL（禁用JavaScript）得到的静态HTML，就能发现前者包含了动态加载的参会者数据——这就是Splash渲染后的结果，和你直接访问http://localhost:8050/render.html?url=xxx看到的内容是完全一致的。

关于你修改URL的操作 #

其实你不需要手动修改URL，只要你是通过正确的方式（比如使用SplashRequest，或者配置了Scrapy-Splash的中间件）发起请求，Splash就会自动帮你完成渲染，响应内容就是你需要的结果。你之前修改URL能生效，可能是因为之前的请求构造没有正确关联Splash，但本质上这个URL替换的现象是正常的设计，不是bug。

内容的提问来源于stack exchange，提问作者gotye