在Crawlee中为指定分类页请求添加自定义Cookie的方法

不需要遍历所有Session，也不用操作Session Pool，直接在将分类页请求加入队列时设置Cookie即可，以下是具体实现方式：

方法1：手动创建Request时指定Cookie #

在生成分类页请求对象时，直接通过headers或cookies参数注入自定义Cookie：

// 假设你在默认处理器中获取到分类页URL
const categoryUrl = 'https://example.com/category/1';

// 方式A：通过headers设置Cookie
await crawler.addRequests([{
    url: categoryUrl,
    headers: {
        'Cookie': 'sid=1234'
    },
    // 标记请求类型，方便后续识别或处理
    userData: { type: 'category' }
}]);

// 方式B：通过cookies参数（更规范，Crawlee会自动处理Cookie格式）
await crawler.addRequests([{
    url: categoryUrl,
    cookies: [{
        name: 'sid',
        value: '1234',
        domain: 'example.com', // 对应目标网站域名
        path: '/'
    }],
    userData: { type: 'category' }
}]);

方法2：使用enqueueLinks时过滤并添加Cookie #

如果是通过enqueueLinks自动发现分类页链接，可以用transformRequestFunction修改请求，注入Cookie：

await crawler.enqueueLinks({
    // 筛选分类页链接的选择器或逻辑
    selector: 'a.category-link',
    transformRequestFunction: (request) => {
        // 确认是分类页请求后添加Cookie
        if (request.url.includes('/category/')) {
            // 方式A：修改headers
            request.headers.Cookie = 'sid=1234';
            // 方式B：设置cookies数组
            // request.cookies = [{ name: 'sid', value: '1234', domain: 'example.com' }];
        }
        return request;
    }
});

为什么不用操作Session Pool？ #

Session的作用是维护单个会话的状态（比如自动保存响应中的Cookie），而你需要的是给特定类型的请求强制添加固定Cookie，直接修改请求本身更直接，无需改动Session Pool中的会话。如果后续分类页请求需要复用动态会话状态，再考虑通过Session的setCookie方法设置，但固定sid的场景下，直接给请求加Cookie足够。

内容的提问来源于stack exchange，提问作者soxl