使用Scrapy+Splash点击双按钮遇问题：无法触发弹窗确认按钮

我看了你遇到的问题：用Scrapy结合Splash爬取页面时，Lua脚本成功点击了按钮1，但弹窗里的确认按钮（按钮2）始终无法触发点击。下面给你拆解可能的原因，再提供调整后的解决方案：

可能的问题点 #

• 固定等待时间不可靠：你用了assert(splash:wait(3.5))，但弹窗的加载速度受网络、页面渲染状态影响，3.5秒不一定足够，导致点击时目标元素还未出现在DOM中。
• 元素选择器准确性存疑：你使用的document.querySelector("a#idAcceptYes")，需要确认弹窗里的确认按钮确实是<a>标签且id为idAcceptYes——很多网站的确认按钮会用<button>标签，这种情况下选择器直接失效。
• 未等待元素完全可交互：就算元素已经加载到DOM里，也可能还没处于可点击状态，直接调用click()会无效。

调整后的解决方案 #

1. 替换固定等待为元素等待（优先方案） #

用Splash自带的splash:wait_for_selector()方法，等待弹窗确认按钮出现后再执行点击，这比固定时间等待更可靠：

function main(splash, args)
    assert(splash:go(args.url))
    assert(splash:wait(0.5))
    -- 点击按钮1
    assert(splash:runjs('document.querySelector("#bodySection > div > div > div:nth-child(7) > div > div:nth-child(2) > a").click()'))
    -- 等待确认按钮出现，最多等待5秒
    assert(splash:wait_for_selector("a#idAcceptYes", 5))
    -- 点击确认按钮
    assert(splash:runjs('document.querySelector("a#idAcceptYes").click()'))
    -- 等待页面跳转完成
    assert(splash:wait(1))
    return {
        html = splash:html(),
    }
end

2. 验证元素选择器的正确性 #

如果上面的代码还是无效，先确认选择器是否准确：

• 手动打开目标页面触发弹窗，在浏览器控制台输入document.querySelector("a#idAcceptYes")，查看是否能返回对应元素。
• 如果返回null，说明选择器错误，改成正确的定位方式（比如按钮是<button>标签，就改成button#idAcceptYes，或者用其他属性如[data-action="accept"]定位）。

3. 模拟真实鼠标点击（备选方案） #

如果直接调用JS的click()无效，可以试试Splash的splash:select()+splash:mouse_click()组合，模拟真实用户的点击操作：

function main(splash, args)
    assert(splash:go(args.url))
    assert(splash:wait(0.5))
    -- 点击按钮1
    local btn1 = splash:select('#bodySection > div > div > div:nth-child(7) > div > div:nth-child(2) > a')
    if btn1 then
        btn1:mouse_click()
    end
    -- 等待确认按钮出现
    assert(splash:wait_for_selector("a#idAcceptYes", 5))
    -- 点击确认按钮
    local btn2 = splash:select('a#idAcceptYes')
    if btn2 then
        btn2:mouse_click()
    end
    -- 等待页面跳转
    assert(splash:wait(1))
    return {
        html = splash:html(),
    }
end

最后你可以在parse方法里打印返回的HTML内容，确认是否已经成功进入下一页，验证操作是否生效。

内容的提问来源于stack exchange，提问作者JBJ