每日爬虫使用DeltaFetch时，重复爬取页面A的问题

嘿，这个问题我之前也碰到过！DeltaFetch对页面B生效但每次都爬页面A，大概率是这几个原因，咱们一步步来解决：

1. 检查DeltaFetch是否忽略了起始URL #

如果页面A是你爬虫start_urls里的地址，那问题很可能出在DeltaFetch的默认配置上——它默认忽略起始URL的缓存检查（ignore_start_urls=True），所以每次运行爬虫都会重新请求页面A。

解决方法很简单，在settings.py里修改配置：

# 启用DeltaFetch中间件
SPIDER_MIDDLEWARES = {
    'scrapy_deltafetch.DeltaFetch': 100,
}
# 指定缓存目录（确保爬虫有读写权限）
DELTAFETCH_DIR = './deltafetch_cache'
# 关键：关闭忽略起始URL的开关
DELTAFETCH_IGNORE_START_URLS = False

要是你需要在特定爬虫里单独配置，也可以直接在爬虫类里自定义中间件：

from scrapy import Spider
from scrapy_deltafetch import DeltaFetch

class MyProductSpider(Spider):
    name = 'product_spider'
    start_urls = ['https://your-site.com/pageA']

    def middlewares(self):
        # 继承默认中间件，追加自定义配置的DeltaFetch
        middlewares = super().middlewares()
        middlewares.append(DeltaFetch(ignore_start_urls=False))
        return middlewares

2. 确认页面A的请求指纹是稳定的 #

如果页面A的请求带有动态参数（比如随机时间戳、会话ID），或者你用了随机切换的User-Agent，DeltaFetch默认的指纹生成逻辑会把这些动态内容算进去，导致每次请求的指纹都不一样，自然会被当成新请求处理。

这时候可以自定义指纹生成函数，只基于稳定的字段（比如URL和请求方法）来生成指纹，在settings.py里添加：

import hashlib

def stable_fingerprint(request):
    # 仅使用请求方法和URL生成指纹，忽略动态请求头/参数
    fingerprint_str = f"{request.method}:{request.url}"
    return hashlib.sha1(fingerprint_str.encode()).hexdigest()

# 告诉DeltaFetch使用自定义的指纹函数
DELTAFETCH_FINGERPRINT_FUNC = stable_fingerprint

3. 检查缓存目录的读写权限和完整性 #

确保DELTAFETCH_DIR指定的目录存在，并且爬虫进程有读写权限。如果缓存目录里没有页面A的指纹记录，DeltaFetch就没法判断它已经被爬过。你可以手动打开缓存目录里的文件，看看是否能找到页面A对应的URL指纹。

4. 排查请求的dont_filter参数 #

如果页面A是通过start_requests方法生成的请求，别忘记检查是否设置了dont_filter=True——这个参数会让Scrapy跳过所有过滤逻辑，包括DeltaFetch的缓存检查。确保请求里没有这个设置，或者明确设为False。

内容的提问来源于stack exchange，提问作者Abel Riboulot