使用Python Scrapy实现索引页已爬影评的条件爬取方案咨询

能否直接在Scrapy中判断文件是否存在 #

完全可以实现，你可以在爬虫逻辑里直接通过文件系统API判断单篇影评对应的存储文件是否存在，从而决定是否跳过爬取。参考实现代码如下：

import os
import scrapy
from scrapy import Spider

class ReviewSpider(Spider):
    name = "review_spider"
    # 单篇影评存储目录
    REVIEW_SAVE_DIR = "./review_files"

    def start_requests(self):
        # 初始化存储目录
        os.makedirs(self.REVIEW_SAVE_DIR, exist_ok=True)
        # 发起索引页请求
        yield scrapy.Request("你的影评索引页地址", callback=self.parse_index)

    def parse_index(self, response):
        # 解析索引页的所有影评跳转链接
        for review_item in response.xpath('//div[@class="review-item"]'):
            review_url = review_item.xpath('./a/@href').get()
            # 提取影评唯一ID作为文件名（可根据站点规则调整提取逻辑）
            review_id = review_url.strip('/').split('/')[-1]
            save_path = os.path.join(self.REVIEW_SAVE_DIR, f"{review_id}.md")
            
            # 文件已存在则跳过该条
            if os.path.exists(save_path):
                self.logger.info(f"影评{review_id}已爬取，直接跳过")
                continue
            
            # 未爬取则发起详情页请求，将存储路径传入meta
            yield scrapy.Request(
                review_url, 
                callback=self.parse_review_detail,
                meta={"save_path": save_path}
            )

    def parse_review_detail(self, response):
        save_path = response.meta["save_path"]
        # 提取影评标题、正文、评分等内容
        review_title = response.xpath('//h1[@class="review-title"]/text()').get().strip()
        review_content = '\n'.join(response.xpath('//div[@class="review-content"]//text()').getall())
        # 写入本地文件
        with open(save_path, 'w', encoding='utf-8') as f:
            f.write(f"# {review_title}\n\n{review_content}")

该方案是否为最佳实践 #

这个方案可以满足基础的单实例、小体量爬取需求，但不属于这类增量爬取场景的最佳实践，存在几个明显的局限性：

• 逻辑耦合度高：判断逻辑和本地文件存储绑定，后续如果要切换存储介质（比如改为存数据库、云对象存储），整套去重逻辑都要重写
• 不支持分布式：如果后续需要扩展为多实例分布式爬取，不同实例无法读取彼此的本地文件，去重逻辑完全失效
• 容易出现数据异常：如果爬取过程中出现文件创建成功但内容写入失败的情况，后续爬虫会直接跳过该条，导致数据缺失
• 性能有限：如果索引页量级大，每次爬取都要发起大量本地文件IO判断，会拖慢爬取效率

更推荐的增量爬取去重方案有两种，适配不同的使用场景：

• 新手入门场景：直接使用Scrapy内置的持久化去重功能，只需要在settings.py中添加配置JOBDIR = "./scrapy_job_cache"，Scrapy会自动把爬过的请求指纹持久化存储到本地，重启爬虫也不会重复爬取，不需要自己写任何去重逻辑，适配绝大多数个人小体量爬取需求
• 后续扩展场景：单独维护去重池，把所有已爬取的影评唯一ID存入Redis集合中，每次拿到新的影评链接先判断ID是否在集合内，不在则爬取同时写入集合，在则直接跳过。这种方案性能远高于本地文件判断，同时支持分布式扩展，也可以灵活搭配任意存储介质使用

内容的提问来源于stack exchange，提问作者kiril