Scrapy多请求链式调用合并Item：similarIdeas字段异常修复

核心问题分析 #

你遇到的问题根源在于Scrapy链式请求时没有正确复用Item实例累积数据，且可能未处理Houzz相似创意接口的分页逻辑：

• 若每次子请求都新建Item，会导致仅保留最后一次请求的1条数据
• 提前yield未完成数据的Item，会产生重复的不完整结果
• 未处理分页则无法获取接口返回的24-25条完整数据

原始Requests逻辑参考（正确累积数据的核心） #

你的Requests代码能正常工作，是因为始终在同一个Item实例上扩展列表：

# 简化版Requests核心逻辑
item = HouzzItem()
item['main_content'] = 获取主页面数据()
# 遍历所有相似创意请求URL
for similar_url in 生成所有相似创意接口URL():
    resp = requests.get(similar_url)
    item['similarIdeas'].extend(resp.json()['ideas'])
# 最后输出完整Item

修正后的Scrapy实现方案 #

1. 核心思路 #

• 父请求中初始化Item，通过meta传递给所有子请求
• 子请求回调中复用同一个Item，累积相似创意数据
• 处理接口分页逻辑，直到获取所有数据后再yield最终Item

2. 完整示例代码 #

import scrapy
from your_project.items import HouzzItem

class HouzzSpider(scrapy.Spider):
    name = 'houzz_spider'
    start_urls = ['https://your-target-houzz-page.com']

    def parse(self, response):
        # 初始化Item并填充主页面数据
        item = HouzzItem()
        item['title'] = response.css('.title::text').get()
        item['main_image'] = response.css('.main-img::attr(src)').get()
        
        # 获取第一个相似创意接口URL（根据实际页面解析调整）
        first_similar_api = self.get_similar_api_url(response)
        # 传递Item和当前页码到子请求
        yield scrapy.Request(
            first_similar_api,
            callback=self.parse_similar_ideas,
            meta={'item': item, 'current_page': 1},
            dont_filter=True
        )

    def parse_similar_ideas(self, response):
        item = response.meta['item']
        current_page = response.meta['current_page']
        api_data = response.json()

        # 累积当前页的相似创意数据
        current_ideas = api_data.get('similarIdeas', [])
        # 可选：去重（根据创意ID过滤重复数据）
        unique_ideas = [idea for idea in current_ideas if idea['id'] not in [i['id'] for i in item['similarIdeas']]]
        item['similarIdeas'].extend(unique_ideas)

        # 检查是否有下一页（根据Houzz接口返回字段调整）
        has_next_page = api_data.get('hasNext', False)
        if has_next_page:
            next_page = current_page + 1
            next_api_url = self.generate_next_similar_api(api_data, next_page)
            yield scrapy.Request(
                next_api_url,
                callback=self.parse_similar_ideas,
                meta={'item': item, 'current_page': next_page},
                dont_filter=True
            )
        else:
            # 所有数据获取完成，yield最终完整Item
            yield item

    # 辅助方法：从主页面解析第一个相似创意接口URL
    def get_similar_api_url(self, response):
        # 替换为你实际的解析逻辑，比如从页面脚本或链接提取
        return response.xpath('//script[contains(text(), "similarIdeasApi")]/text()').re_first(r'"url":"(.*?)"')

    # 辅助方法：生成下一页相似创意接口URL
    def generate_next_similar_api(self, api_data, next_page):
        # 根据接口返回的分页规则生成，比如替换page参数
        base_url = api_data['nextPageUrl'] if 'nextPageUrl' in api_data else f"https://api.houzz.com/similar?page={next_page}"
        return base_url

3. 关键注意事项 #

• 必须复用同一个Item实例：通过meta传递Item，避免子请求中新建Item导致数据丢失
• 禁止提前yield Item：仅在所有分页请求完成后才yield，否则会输出重复的不完整Item
• 处理接口分页：Houzz的相似创意接口通常按分页返回数据，需通过hasNext或nextPageUrl判断是否继续请求
• 去重处理：若接口返回重复数据，可通过创意ID等唯一字段过滤重复项

内容的提问来源于stack exchange，提问作者X-something