You need to enable JavaScript to run this app. 使用Scrapy-Splash爬取Airbnb无法获取数据的问题求助
优惠活动
大模型
产品
解决方案
定价
更多

使用Scrapy-Splash爬取Airbnb无法获取数据的问题求助

Scrapy-Splash爬取Airbnb失效的修复方案
  • 关闭robots协议自动拦截:当前配置开启了ROBOTSTXT_OBEY = True,Airbnb的robots.txt对房源详情页设置了爬取禁令,Scrapy会在请求发起阶段直接拦截请求,根本不会把页面交给Splash处理,需要修改配置为ROBOTSTXT_OBEY = False。
  • 修正动态类名的XPath提取规则:Airbnb的前端样式类名是打包时动态生成的,每次前端发版都会随机变化,之前依赖_1qsawv5类名编写的选择器已经完全失效。优先选择页面中固定不变的语义化属性做定位,比如通过data-testid这类不会随样式变化的属性编写XPath,示例:response.xpath('//h1[@data-testid="listing-title"]//text()').get()。同时在parse方法开头增加页面校验,打印当前response的URL,确认返回的不是Airbnb的反爬人机验证跳转页。
  • 补全Splash的反爬绕过配置:当前Lua脚本的能力仅能适配低反爬站点(比如之前测试的livecoin),无法绕过Airbnb的无头浏览器特征检测。需要修改Lua脚本,新增以下配置:
    • 替换Splash默认的请求UA为常规桌面浏览器的UA值
    • 注入脚本移除navigator.webdriver的无头浏览器特征标识
    • 将固定等待5秒的逻辑替换为目标元素加载完成的等待逻辑,避免过早返回未渲染完成的页面
      示例修正后的Lua脚本:
    function main(splash, args)
        splash.private_mode_enabled = false
        -- 设置常规浏览器UA
        splash:set_user_agent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
        -- 注入脚本移除webdriver特征
        splash:jsfunc("window.navigator.webdriver = undefined")()
        -- 提前设置全尺寸视口,避免内容懒加载
        splash:set_viewport_full()
        assert(splash:go(args.url))
        -- 等待目标标题元素加载完成,最多等10秒
        splash:wait_for_resume([[
            function main(splash) {
                const checkExist = setInterval(() => {
                    if (document.querySelector('h1[data-testid="listing-title"]')) {
                        clearInterval(checkExist);
                        splash.resume();
                    }
                }, 200);
            }
        ]], 10)
        return splash:html()
    end
    
  • 修正settings.py的配置错误:
    • 导出编码配置存在拼写错误,EED_EXPORT_ENCODING需修正为FEED_EXPORT_ENCODING,否则配置不生效
    • 删除settings文件末尾无意义的from shutil import which导入,该行配置无任何实际作用
  • 适配性差异说明:之前能成功爬取livecoin,是因为该站点反爬强度低,既不做无头浏览器特征检测,也没有严格的robots协议拦截规则,前端类名稳定性高,简单的Splash逻辑可以跑通。Airbnb的反爬等级远高于该站点,直接复用原有基础逻辑不做适配,无法正常获取数据属于正常情况,不是代码逻辑本身存在错误。
  • 稳定性优化:替换原有的固定等待逻辑后,不会出现Selenium方案里经常拿到未渲染完成的缺失数据问题,不需要反复重跑scrapy crawl任务补全数据,运行速度也会比Selenium方案提升数倍。

内容的提问来源于stack exchange,提问作者Ramzi Missaoui

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 12:15:04