Splash提取Lithia网页元素失败，请求技术协助

问题分析 #

目标网站的动态内容加载机制或反爬策略导致Splash默认渲染配置无法完整加载页面，你尝试的基础配置不足以触发元素加载。以下是针对性的调整方案：

1. 使用Lua脚本精细控制渲染流程 #

放弃简单的render.html端点，改用execute端点执行Lua脚本，实现等待目标元素加载完成再返回HTML，避免固定sleep的不确定性：

修改Scrapy代码如下：

import scrapy
from scrapy_splash import SplashRequest

class CarSpider(scrapy.Spider):
    name = 'car1'
    # 修正allowed_domains的格式错误
    allowed_domains = ['lithia.com']
    start_urls = ['https://www.lithia.com/baierl-auto-group/new-inventory.htm']

    def start_requests(self):
        lua_script = """
        function main(splash, args)
          -- 设置真实浏览器UA
          splash:set_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
          -- 启用Cookie、关闭隐私模式
          splash.private_mode_enabled = false
          splash.cookies_enabled = true
          -- 设置请求头模拟浏览器行为
          splash:set_custom_headers({
              ["Accept-Language"] = "en-US,en;q=0.9",
              ["Accept"] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
          })
          -- 访问目标页面
          splash:go(args.url)
          -- 等待目标元素出现，超时时间10秒
          splash:wait_for_element('span.facet-list-group-label:contains("Year")', 10)
          -- 返回渲染后的HTML
          return splash:html()
        end
        """
        for url in self.start_urls:
            yield SplashRequest(
                url=url,
                callback=self.parse,
                endpoint='execute',
                args={'lua_source': lua_script}
            )

    def parse(self, response):
        # 修正XPath引号问题，提取元素文本
        year_element = response.xpath('//span[contains(@class, "facet-list-group-label") and contains(text(), "Year")]')
        year_text = year_element.xpath('./text()').get() if year_element else None
        yield {
            'year': year_text
        }

2. 关键调整说明 #

• 修正allowed_domains：原配置多了末尾斜杠，会导致Scrapy域名验证失败，影响请求流程。
• Lua脚本精准等待：wait_for_element会一直等待目标元素加载完成（或超时），比固定sleep更可靠。
• 模拟浏览器请求特征：通过设置真实UA、请求头、启用Cookie，避免被网站识别为爬虫。

3. 额外排查点 #

如果仍无法提取元素，可在Lua脚本中添加splash:debug()，在Splash的Web界面查看渲染截图和网络请求日志，确认：

• 是否有JS、CSS等资源加载失败
• 是否触发了验证码或反爬拦截

内容的提问来源于stack exchange，提问作者user150518