Nutch 2.3.1 已抓取页面重爬时间及控制参数咨询

嘿，针对你用Nutch 2.3.1做大规模域名抓取的场景，我来给你拆解下它重新访问已抓取页面的逻辑，以及对应的控制参数——这刚好是Nutch抓取调度里的核心点：

重新抓取的触发逻辑 #

Nutch不会无差别重复抓取页面，它是基于「时间间隔+内容更新检测」的双重逻辑来判断的：

1. 时间间隔触发：当当前时间距离页面上次抓取的时间，超过了设定的抓取间隔阈值，这个页面会被纳入待抓取队列。
2. 内容更新验证：即使到了抓取时间，Nutch也会先发送轻量级请求（比如HEAD请求），对比页面的ETag、Last-Modified等缓存标识，确认内容确实更新后，才会重新完整下载页面；如果内容没变化，只会更新页面的抓取时间，不会重复下载冗余内容。

核心控制参数（均在nutch-site.xml中配置） #

这些参数直接决定了重新抓取的频率和行为：

• db.fetch.interval.default：默认抓取间隔，单位为秒。比如设为86400（24小时），就是新抓取的页面默认一天后会被重新检查。
• db.fetch.interval.min：允许的最小抓取间隔，防止某些页面被过度频繁抓取，避免给目标站点造成压力，也节省自身资源。
• db.fetch.interval.max：允许的最大抓取间隔，确保页面不会被长期遗忘，比如设为604800（7天），就算页面多次没更新，最多7天也会再检查一次。
• db.fetch.interval.multiplier：动态间隔调整乘数。如果页面连续几次抓取都没更新，Nutch会把抓取间隔乘以这个数值（比如设为2），逐渐延长下次抓取时间；一旦发现页面更新，就会把间隔重置为默认值，实现智能调度。
• http.useHttp11：开启后支持HTTP 1.1协议的HEAD请求和缓存头校验，让Nutch能更高效地检测页面是否更新，大幅减少不必要的完整页面下载。
• db.update.additions.allowed：如果设为true，重新抓取时会提取页面中的新链接并加入抓取队列；设为false则仅更新已有页面的内容，不会扩展抓取范围。

针对特定域名的自定义配置 #

如果你需要给不同域名设置差异化的抓取间隔，可以通过URL过滤规则实现。比如在regex-urlfilter.txt中添加类似规则：

+^https://your-target-domain.com/.*$ fetchInterval=43200

这样该域名下的页面就会使用12小时（43200秒）的抓取间隔，覆盖全局默认值。

补充说明 #

Nutch的抓取调度逻辑是在generate阶段处理的——每次运行抓取任务时，generate步骤会筛选出满足抓取间隔条件的页面，再由fetch步骤去做内容更新验证和重新抓取操作。

内容的提问来源于stack exchange，提问作者Hafiz Muhammad Shafiq