如何用Scrapy-Splash设置非表单输入框值并重新爬取页面？

当然可行！这正是Scrapy-Splash的拿手好戏——模拟用户交互后抓取动态更新的页面内容。你需要利用Splash的Lua脚本能力，直接在浏览器环境里操作输入框、触发页面更新，再获取处理后的HTML。

核心思路是通过Splash的execute端点执行自定义Lua脚本，在脚本中完成以下步骤：

1. 加载目标页面
2. 定位到非表单输入框并设置值
3. 触发页面所需的交互事件（比如input或change事件，很多页面需要这个才会更新内容）
4. 等待页面内容更新完成
5. 返回更新后的HTML

下面是修改后的完整代码示例，适配你的需求：

import scrapy
from scrapy_splash import SplashRequest

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = (
        'https://example.com',
    )

    def start_requests(self):
        # 定义Splash执行的Lua脚本
        lua_script = """
        function main(splash, args)
            -- 打开目标页面
            assert(splash:go(args.url))
            -- 等待初始页面加载完成（时间可根据页面速度调整）
            assert(splash:wait(0.5))
            
            -- 替换为你的目标输入框选择器和要输入的值
            local input_selector = "#target-input"  -- 比如id选择器，也可以用.class或其他CSS选择器
            local input_value = "你的自定义输入内容"
            
            -- 等待输入框加载完成（如果输入框是动态生成的，这一步很重要）
            assert(splash:wait_for_selector(input_selector))
            
            -- 设置输入框的值
            splash:runjs(string.format("document.querySelector('%s').value = '%s';", input_selector, input_value))
            
            -- 触发input事件（很多页面依赖这个事件来更新内容）
            splash:runjs(string.format("document.querySelector('%s').dispatchEvent(new Event('input'));", input_selector))
            
            -- 等待页面内容更新（时间根据页面响应速度调整）
            assert(splash:wait(1))
            
            -- 返回处理后的HTML
            return {
                html = splash:html(),
            }
        end
        """

        for url in self.start_urls:
            yield SplashRequest(
                url,
                endpoint='execute',
                args={'lua_source': lua_script},
                callback=self.parse
            )

    def parse(self, response):
        # 这里处理更新后的页面内容
        self.logger.info("成功获取输入值更新后的页面")
        # 示例：提取更新后的内容（替换成你的目标元素选择器）
        updated_content = response.xpath('//div[@class="dynamic-content"]/text()').get()
        if updated_content:
            yield {"更新后的内容": updated_content}

关键注意事项 #

• 选择器准确性：确保input_selector能精准定位到目标输入框，可以用浏览器开发者工具（F12）查看元素的CSS选择器。
• 触发交互事件：如果设置值后页面没变化，大概率是需要触发特定事件（比如change、keyup），可以尝试替换dispatchEvent里的事件类型。
• 等待时间调整：wait和wait_for_selector的时间要根据页面实际加载速度调整，避免因等待时间不足导致抓取到未更新的内容。
• 动态元素处理：如果输入框是页面加载后异步生成的，一定要用wait_for_selector确保元素存在后再操作。

内容的提问来源于stack exchange，提问作者Jules