Scrapy启用dont_filter=False时如何重置已访问URL记录？

嗨，这个问题其实在Scrapy里有现成的解决方案，不用完全自己手动维护URL列表～

首先得明确：Scrapy默认的去重过滤器（RFPDupeFilter）是绑定在当前爬虫实例上的，它会在爬虫运行期间维护一个URL指纹集合，用来判断请求是否重复。如果你的需求是在同一个爬虫实例内切换不同搜索任务时，清空之前的去重记录，可以通过以下两种方式实现：

方法一：直接重置内置去重过滤器 #

这是最简单的方案，不需要额外写太多代码。Scrapy的内置去重器把已访问的URL指纹存在fingerprints这个集合里，你只需要在发起新搜索之前，调用代码清空这个集合即可：

def start_new_search(self, search_query):
    # 清空已有的去重指纹记录
    self.crawler.engine.scraper.dupefilter.fingerprints.clear()
    
    # 生成新的搜索请求（保持dont_filter=False，让去重器正常工作）
    search_url = f"http://your-target-site.com/search?q={search_query}"
    yield scrapy.Request(search_url, callback=self.parse_search_results, dont_filter=False)

这样每次启动新搜索时，之前分页爬取的URL记录就会被清除，新的搜索任务不会受到之前的去重限制。

方法二：自定义去重过滤器（适用于复杂场景） #

如果你的去重逻辑有特殊需求（比如需要区分不同搜索任务的去重记录），可以继承默认的RFPDupeFilter，专门维护一个针对搜索任务的指纹集合：

from scrapy.dupefilters import RFPDupeFilter

class SearchAwareDupeFilter(RFPDupeFilter):
    def __init__(self, path=None, debug=False):
        super().__init__(path, debug)
        # 专门存储当前搜索任务的URL指纹
        self.current_search_fingerprints = set()

    def request_seen(self, request):
        fp = self.request_fingerprint(request)
        # 检查全局去重（爬虫生命周期内）和当前搜索任务的去重
        if fp in self.fingerprints or fp in self.current_search_fingerprints:
            return True
        self.current_search_fingerprints.add(fp)
        return False

    # 新增重置方法，用于切换搜索任务时清空记录
    def reset_current_search(self):
        self.current_search_fingerprints.clear()

然后在你的爬虫里，切换搜索任务时调用这个重置方法：

def start_new_search(self, search_query):
    # 调用自定义去重器的重置方法
    self.crawler.engine.scraper.dupefilter.reset_current_search()
    
    # 发起新搜索请求
    search_url = f"http://your-target-site.com/search?q={search_query}"
    yield scrapy.Request(search_url, callback=self.parse_search_results, dont_filter=False)

别忘了在settings.py里配置使用这个自定义过滤器：

DUPEFILTER_CLASS = 'your_project_name.dupefilters.SearchAwareDupeFilter'

总结 #

• 大多数情况下，方法一完全够用，直接重置内置去重器的指纹集合即可，不需要自己额外维护URL列表；
• 如果有更复杂的去重需求（比如需要保留全局去重但单独重置搜索任务的记录），再考虑自定义过滤器。

内容的提问来源于stack exchange，提问作者Peksio