如何使用Crawlee（Apify）发送JSON文件中的Cookie进行身份验证

核心步骤 #

• 读取本地JSON格式的Cookie文件
• 适配Cookie格式以匹配爬虫Session的要求
• 将Cookie注入Session或直接构造请求头

代码示例 #

假设你使用的是Apify的HttpCrawler，可以参考以下实现：

const { HttpCrawler } = require('apify');
const fs = require('fs');

// 读取本地Cookie文件
const cookieData = fs.readFileSync('./your-cookies.json', 'utf8');
const localCookies = JSON.parse(cookieData);

const crawler = new HttpCrawler({
    persistCookiesPerSession: true,
    requestHandler: async ({ request, session }) => {
        // 将本地Cookie注入当前Session，第二个参数是目标URL，用于验证Cookie的domain/path
        session.setCookies(localCookies, request.url);

        // 发起请求，Session会自动带上注入的Cookie
        const response = await session.fetch(request.url);
        const html = await response.text();
        
        // 后续处理逻辑...
        console.log(`请求状态码: ${response.status}`);
    },
    // 其他爬虫配置（如请求队列、Session Pool设置等）
});

// 启动爬虫
crawler.run();

注意事项 #

• Cookie格式匹配：确保本地JSON里的Cookie包含name、value、domain、path这些必填字段，如果你的JSON字段名不同（比如用key代替name），需要先做字段映射转换。
• domain/path验证：Session会自动过滤掉与请求URL不匹配的Cookie，所以要保证Cookie的domain和目标网站域名一致，path也符合要求。
• 手动构造Cookie头（可选）：如果不使用Session Pool，可以直接在请求头里拼接Cookie字符串：

  request.headers.Cookie = localCookies.map(c => `${c.name}=${c.value}`).join('; ');
  

内容的提问来源于stack exchange，提问作者dnny