使用代理时Scrapy Playwright丢失Cookie的问题排查

问题核心在于：当启用meta={"playwright": True}时，Scrapy原生的cookies参数并不会自动同步到Playwright的浏览器上下文——尤其是在使用代理时，浏览器的上下文隔离机制会进一步阻断这种传递，导致Cookie无法生效。

下面是两种可行的解决方式：

方法1：在请求的Playwright上下文参数中直接配置Cookie #

直接在playwright_context_kwargs里传入符合浏览器标准的Cookie数组（必须包含domain和path属性），代理可保留全局配置或在此单独指定：

class ScrapyTest(scrapy.Spider):
    name = 'scrapy test'

    def start_requests(self):
        # 按浏览器要求格式定义Cookie，必须指定domain和path
        cookies = [
            {
                'name': 'cookieconsent_dismissed',
                'value': 'yes',
                'domain': 'example.com',  # 替换为目标站点实际域名
                'path': '/'
            }
        ]

        url = 'https://example.com'

        yield scrapy.Request(
            url,
            meta={
                "playwright": True,
                "playwright_context_kwargs": {
                    "cookies": cookies
                }
            },
            callback=self.parse
        )

方法2：通过Playwright页面初始化信号添加Cookie #

利用playwright_page_init信号，在页面加载前向浏览器上下文注入Cookie：

from scrapy import signals
from scrapy.signalmanager import dispatcher

class ScrapyTest(scrapy.Spider):
    name = 'scrapy test'

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        # 绑定页面初始化信号
        dispatcher.connect(self.inject_cookies, signal=signals.playwright_page_init)

    def inject_cookies(self, page, **kwargs):
        # 向当前页面上下文添加Cookie
        yield page.context.add_cookies([
            {
                'name': 'cookieconsent_dismissed',
                'value': 'yes',
                'domain': 'example.com',
                'path': '/'
            }
        ])

    def start_requests(self):
        url = 'https://example.com'
        yield scrapy.Request(url, meta={"playwright": True}, callback=self.parse)

关键注意事项 #

• Cookie格式必须完整：浏览器对Cookie的域名、路径有严格校验，缺少domain或path会导致Cookie不被应用，代理环境下浏览器安全策略更严格。
• Scrapy原生Cookie与Playwright上下文隔离：启用Playwright后，Scrapy的COOKIES_ENABLED仅控制自身Downloader的Cookie管理，不会影响Playwright的浏览器上下文，需单独配置Playwright的Cookie。
• 代理配置一致性：全局PLAYWRIGHT_LAUNCH_OPTIONS中的代理和请求级playwright_context_kwargs中的代理二选一即可，避免冲突。

内容的提问来源于stack exchange，提问作者Jayavinoth