使用Scrapy-Splash爬取Airbnb无法获取数据的问题求助
Scrapy-Splash爬取Airbnb失效的修复方案
- 关闭robots协议自动拦截:当前配置开启了
ROBOTSTXT_OBEY = True,Airbnb的robots.txt对房源详情页设置了爬取禁令,Scrapy会在请求发起阶段直接拦截请求,根本不会把页面交给Splash处理,需要修改配置为ROBOTSTXT_OBEY = False。 - 修正动态类名的XPath提取规则:Airbnb的前端样式类名是打包时动态生成的,每次前端发版都会随机变化,之前依赖
_1qsawv5类名编写的选择器已经完全失效。优先选择页面中固定不变的语义化属性做定位,比如通过data-testid这类不会随样式变化的属性编写XPath,示例:response.xpath('//h1[@data-testid="listing-title"]//text()').get()。同时在parse方法开头增加页面校验,打印当前response的URL,确认返回的不是Airbnb的反爬人机验证跳转页。 - 补全Splash的反爬绕过配置:当前Lua脚本的能力仅能适配低反爬站点(比如之前测试的livecoin),无法绕过Airbnb的无头浏览器特征检测。需要修改Lua脚本,新增以下配置:
- 替换Splash默认的请求UA为常规桌面浏览器的UA值
- 注入脚本移除
navigator.webdriver的无头浏览器特征标识 - 将固定等待5秒的逻辑替换为目标元素加载完成的等待逻辑,避免过早返回未渲染完成的页面
示例修正后的Lua脚本:
function main(splash, args) splash.private_mode_enabled = false -- 设置常规浏览器UA splash:set_user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36") -- 注入脚本移除webdriver特征 splash:jsfunc("window.navigator.webdriver = undefined")() -- 提前设置全尺寸视口,避免内容懒加载 splash:set_viewport_full() assert(splash:go(args.url)) -- 等待目标标题元素加载完成,最多等10秒 splash:wait_for_resume([[ function main(splash) { const checkExist = setInterval(() => { if (document.querySelector('h1[data-testid="listing-title"]')) { clearInterval(checkExist); splash.resume(); } }, 200); } ]], 10) return splash:html() end - 修正settings.py的配置错误:
- 导出编码配置存在拼写错误,
EED_EXPORT_ENCODING需修正为FEED_EXPORT_ENCODING,否则配置不生效 - 删除settings文件末尾无意义的
from shutil import which导入,该行配置无任何实际作用
- 导出编码配置存在拼写错误,
- 适配性差异说明:之前能成功爬取livecoin,是因为该站点反爬强度低,既不做无头浏览器特征检测,也没有严格的robots协议拦截规则,前端类名稳定性高,简单的Splash逻辑可以跑通。Airbnb的反爬等级远高于该站点,直接复用原有基础逻辑不做适配,无法正常获取数据属于正常情况,不是代码逻辑本身存在错误。
- 稳定性优化:替换原有的固定等待逻辑后,不会出现Selenium方案里经常拿到未渲染完成的缺失数据问题,不需要反复重跑
scrapy crawl任务补全数据,运行速度也会比Selenium方案提升数倍。
内容的提问来源于stack exchange,提问作者Ramzi Missaoui
相关产品推荐
相关产品推荐

