如何用Scrapy-Playwright动态处理加载的选择器点击？

针对你遇到的页面随机加载三种类型、无法按顺序点击选择器的问题，有两种实用的解决思路：

方法1：直接使用多选择器匹配（简单场景） #

Playwright的wait_for_selector和click方法支持逗号分隔的多个选择器，会自动等待第一个出现的选择器并执行点击，无需按顺序判断。

在Scrapy请求中配置playwright_page_coroutines即可：

from scrapy import Spider, Request
from scrapy_playwright.page import PageCoroutine

class ABCSpider(Spider):
    name = 'abc_spider'
    start_urls = ['https://abc.com']

    def start_requests(self):
        for url in self.start_urls:
            yield Request(
                url,
                meta={
                    'playwright': True,
                    'playwright_page_coroutines': [
                        # 等待任意一个选择器加载完成，超时时间可根据网络调整
                        PageCoroutine('wait_for_selector', '#selector1, #selector2, #selector3', timeout=10000),
                        # 点击第一个匹配到的选择器
                        PageCoroutine('click', '#selector1, #selector2, #selector3'),
                    ],
                },
            )

方法2：自定义逻辑处理不同选择器（复杂场景） #

如果不同选择器需要执行不同后续操作，可以在parse方法中获取Playwright页面对象，先定位到第一个出现的选择器，再根据其标识执行对应操作：

from scrapy import Spider, Request

class ABCSpider(Spider):
    name = 'abc_spider'
    start_urls = ['https://abc.com']

    def start_requests(self):
        for url in self.start_urls:
            yield Request(
                url,
                meta={
                    'playwright': True,
                    'playwright_include_page': True,  # 允许在回调中获取page对象
                },
                callback=self.parse_with_playwright,
            )

    async def parse_with_playwright(self, response):
        page = response.meta['playwright_page']
        # 等待任意目标选择器出现
        target_locator = page.locator('#selector1, #selector2, #selector3')
        await target_locator.wait_for(timeout=10000)
        
        # 获取当前匹配的选择器ID
        selector_id = await target_locator.first.evaluate('el => el.id')
        
        # 根据选择器类型执行对应操作
        if selector_id == 'selector1':
            await page.click('#selector1')
            # 这里添加selector1对应的后续爬取逻辑
        elif selector_id == 'selector2':
            await page.click('#selector2')
            # 这里添加selector2对应的后续爬取逻辑
        elif selector_id == 'selector3':
            await page.click('#selector3')
            # 这里添加selector3对应的后续爬取逻辑
        
        # 完成操作后关闭page对象
        await page.close()

注意事项 #

• 调整timeout参数适配你的网络情况，避免因加载慢导致超时
• 确保选择器是页面中唯一的，避免匹配到无关元素

内容的提问来源于stack exchange，提问作者User10007