You need to enable JavaScript to run this app. Scrapy通过API爬取Shopee商品时跨函数解析及请求头设置问题
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy通过API爬取Shopee商品时跨函数解析及请求头设置问题

Scrapy 爬取Shopee商品数据问题修复方案

现有代码问题修复

  • 问题1:item_id变量后多写逗号,被转为元组,导致详情页请求URL格式错误
    修正:将item_id = product.get('item_basic').get('itemid'),末尾的逗号删除
  • 问题2:详情页返回的item字段是单个商品对象,不是列表,遍历会报错
    修正:parse_data函数中去掉for循环,直接读取单条商品的属性
  • 问题3:分页逻辑写在类全局位置,没有放到parse_products函数内,完全不会执行
    修正:将分页相关代码缩进,放到parse_products函数的末尾
  • 问题4:公共headers中的path、referer字段是列表页的固定值,请求详情页时会不匹配,大概率被反爬拦截

不同请求使用独立请求头的实现

如果详情页和列表页请求头有差异,直接单独定义对应场景的请求头即可,示例:

# 列表页请求头
list_headers = {
    # 列表页专属的header内容
}
# 详情页请求头
detail_headers = {
    # 详情页专属的header内容
}

发请求时对应传入即可:列表页请求传入headers=self.list_headers,详情页请求传入headers=self.detail_headers。如果部分字段需要动态调整(比如详情页referer需要对应商品链接),也可以在发请求前临时修改header对应值。

修正后完整代码

import scrapy
import json

class HtmshopeeSpider(scrapy.Spider):
    name = 'shopeeitem2'
    count = 240000

    # 列表页请求头
    list_headers={
        'authority': 'shopee.com.my',
        'accept': '*/*',
        'accept-encoding': 'gzip, deflate, br',
        'accept-language': 'en-US,en;q=0.9',
        'cache-control': 'no-cache',
        'cookie': '替换为自己的有效cookie',
        'if-none-match-': '55b03-676eb00af72df9e2b38a2976dd41d5ea',
        'pragma': 'no-cache',
        'referer': 'https://shopee.com.my/search?keyword=chantiva&page=0',
        'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
        'sec-ch-ua-mobile': '?0',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-origin',
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36',
        'x-api-source': 'pc',
        'x-requested-with': 'XMLHttpRequest',
        'x-shopee-language': 'en'
    }

    # 详情页请求头,可根据实际抓包结果调整字段
    detail_headers = {
        'authority': 'shopee.com.my',
        'accept': '*/*',
        'accept-encoding': 'gzip, deflate, br',
        'accept-language': 'en-US,en;q=0.9',
        'cache-control': 'no-cache',
        'cookie': '和列表页一致的有效cookie',
        'pragma': 'no-cache',
        'referer': 'https://shopee.com.my/',
        'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
        'sec-ch-ua-mobile': '?0',
        'sec-fetch-dest': 'empty',
        'sec-fetch-mode': 'cors',
        'sec-fetch-site': 'same-origin',
        'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36',
        'x-api-source': 'pc',
        'x-requested-with': 'XMLHttpRequest',
        'x-shopee-language': 'en'
    }

    def start_requests(self):
        yield scrapy.Request(
            url= 'https://shopee.com.my/api/v4/search/search_items?by=relevancy&keyword=chantiva&limit=60&newest=0&order=desc&page_type=search&scenario=PAGE_GLOBAL_SEARCH&version=2',
            headers=self.list_headers,
            callback=self.parse_products,
            meta={
                'newest':0
            }
        )

    def parse_products(self, response):
        json_resp = json.loads(response.body)
        products = json_resp.get('items')
        if not products:
            return

        for product in products:
            item_basic = product.get('item_basic')
            item_id = item_basic.get('itemid')
            shop_id = item_basic.get('shopid')

            yield scrapy.Request(
                url=f"https://shopee.com.my/api/v2/item/get?itemid={item_id}&shopid={shop_id}",
                callback=self.parse_data,
                headers=self.detail_headers
            )

        # 分页逻辑
        next_page = response.meta['newest'] + 60
        if next_page <= self.count:
            yield scrapy.Request(
                url=f"https://shopee.com.my/api/v4/search/search_items?by=relevancy&keyword=chantiva&limit=60&newest={next_page}&order=desc&page_type=search&scenario=PAGE_GLOBAL_SEARCH&version=2",
                headers=self.list_headers,
                meta={'newest': next_page}
            )

    def parse_data(self, response):
        json_resp = json.loads(response.body)
        item = json_resp.get('item')
        if not item:
            return
        yield {
            'product': item.get('name')
        }

额外注意

Shopee的cookie有效期较短,爬取过程中如果出现403/无数据返回,需要更新cookie值。

内容的提问来源于stack exchange,提问作者karan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 07:33:02