Scrapy通过API爬取Shopee商品时跨函数解析及请求头设置问题
Scrapy 爬取Shopee商品数据问题修复方案
现有代码问题修复
- 问题1:item_id变量后多写逗号,被转为元组,导致详情页请求URL格式错误
修正:将item_id = product.get('item_basic').get('itemid'),末尾的逗号删除 - 问题2:详情页返回的
item字段是单个商品对象,不是列表,遍历会报错
修正:parse_data函数中去掉for循环,直接读取单条商品的属性 - 问题3:分页逻辑写在类全局位置,没有放到parse_products函数内,完全不会执行
修正:将分页相关代码缩进,放到parse_products函数的末尾 - 问题4:公共headers中的
path、referer字段是列表页的固定值,请求详情页时会不匹配,大概率被反爬拦截
不同请求使用独立请求头的实现
如果详情页和列表页请求头有差异,直接单独定义对应场景的请求头即可,示例:
# 列表页请求头 list_headers = { # 列表页专属的header内容 } # 详情页请求头 detail_headers = { # 详情页专属的header内容 }
发请求时对应传入即可:列表页请求传入headers=self.list_headers,详情页请求传入headers=self.detail_headers。如果部分字段需要动态调整(比如详情页referer需要对应商品链接),也可以在发请求前临时修改header对应值。
修正后完整代码
import scrapy import json class HtmshopeeSpider(scrapy.Spider): name = 'shopeeitem2' count = 240000 # 列表页请求头 list_headers={ 'authority': 'shopee.com.my', 'accept': '*/*', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'en-US,en;q=0.9', 'cache-control': 'no-cache', 'cookie': '替换为自己的有效cookie', 'if-none-match-': '55b03-676eb00af72df9e2b38a2976dd41d5ea', 'pragma': 'no-cache', 'referer': 'https://shopee.com.my/search?keyword=chantiva&page=0', 'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"', 'sec-ch-ua-mobile': '?0', 'sec-fetch-dest': 'empty', 'sec-fetch-mode': 'cors', 'sec-fetch-site': 'same-origin', 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36', 'x-api-source': 'pc', 'x-requested-with': 'XMLHttpRequest', 'x-shopee-language': 'en' } # 详情页请求头,可根据实际抓包结果调整字段 detail_headers = { 'authority': 'shopee.com.my', 'accept': '*/*', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'en-US,en;q=0.9', 'cache-control': 'no-cache', 'cookie': '和列表页一致的有效cookie', 'pragma': 'no-cache', 'referer': 'https://shopee.com.my/', 'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"', 'sec-ch-ua-mobile': '?0', 'sec-fetch-dest': 'empty', 'sec-fetch-mode': 'cors', 'sec-fetch-site': 'same-origin', 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36', 'x-api-source': 'pc', 'x-requested-with': 'XMLHttpRequest', 'x-shopee-language': 'en' } def start_requests(self): yield scrapy.Request( url= 'https://shopee.com.my/api/v4/search/search_items?by=relevancy&keyword=chantiva&limit=60&newest=0&order=desc&page_type=search&scenario=PAGE_GLOBAL_SEARCH&version=2', headers=self.list_headers, callback=self.parse_products, meta={ 'newest':0 } ) def parse_products(self, response): json_resp = json.loads(response.body) products = json_resp.get('items') if not products: return for product in products: item_basic = product.get('item_basic') item_id = item_basic.get('itemid') shop_id = item_basic.get('shopid') yield scrapy.Request( url=f"https://shopee.com.my/api/v2/item/get?itemid={item_id}&shopid={shop_id}", callback=self.parse_data, headers=self.detail_headers ) # 分页逻辑 next_page = response.meta['newest'] + 60 if next_page <= self.count: yield scrapy.Request( url=f"https://shopee.com.my/api/v4/search/search_items?by=relevancy&keyword=chantiva&limit=60&newest={next_page}&order=desc&page_type=search&scenario=PAGE_GLOBAL_SEARCH&version=2", headers=self.list_headers, meta={'newest': next_page} ) def parse_data(self, response): json_resp = json.loads(response.body) item = json_resp.get('item') if not item: return yield { 'product': item.get('name') }
额外注意
Shopee的cookie有效期较短,爬取过程中如果出现403/无数据返回,需要更新cookie值。
内容的提问来源于stack exchange,提问作者karan
相关产品推荐
相关产品推荐

