Nutch未爬取robots.txt允许所有爬虫的站点该如何解决？

• Nutch的robots匹配逻辑优先级问题：Nutch默认会优先匹配和自身UA（User-Agent）名称完全对应的robots规则，仅当没有专属规则时才会适配User-agent: *的通配符规则。多数情况下你只核查了通配符允许规则，但站点robots.txt中存在针对Nutch默认UA（格式为Nutch/[版本号]）的独立禁止规则，就会直接触发拦截跳过。
• HTTP请求异常：目标站点返回3xx重定向但Nutch未开启重定向跟随、返回4xx/5xx状态码、或者响应超时超出Nutch默认阈值，这类情况就算robots规则允许，Nutch也会判定为站点不可达直接跳过。
• 本地URL过滤规则拦截：Nutch自带的regex-urlfilter.txt配置文件中有默认的正则过滤规则，会自动拦截带特殊后缀、参数过长、符合风险特征的URL，大量未爬取URL实际是被本地过滤规则拦截，和robots规则无关。
• 种子URL格式无效：seed.txt中的URL如果漏写http/https协议头、带有多余空格、存在编码错误，Nutch会直接识别为无效URL丢弃，不会进入爬取队列。
• 单域名爬取上限触发：如果未爬取的URL集中在部分域名下，可能是你配置了单域名最大爬取数量上限，达到阈值后同域名下的剩余URL会被自动跳过。

• 调整爬虫UA配置：先核查目标站点robots.txt是否有针对Nutch的专属禁止规则，如果存在可以修改nutch-site.xml中的http.agent.name参数，自定义爬虫UA名称，避开针对性拦截规则。
• 优化HTTP请求参数：修改nutch-site.xml中的http.timeout参数适当调高超时阈值，同时配置http.redirect.max设置最大重定向次数（建议设置为3-5），开启重定向跟随，减少因响应慢或重定向导致的跳过问题。
• 调整URL过滤规则：打开regex-urlfilter.txt注释掉不需要的默认过滤规则，或者新增正则规则放行你需要爬取的URL格式，修改后可以通过nutch checkurls命令批量校验seed中的URL是否会被过滤规则拦截。
• 清理无效种子URL：批量校验seed.txt中的URL格式，确保所有URL都带标准协议头、无多余空格和乱码，提前剔除不可达URL后再导入Nutch。
• 调整单域名爬取上限：如果是单域名爬取数量受限，修改nutch-site.xml中的generate.max.per.host参数，根据需求调高单域名最大爬取数量，设置为-1即可取消单域名爬取上限。

内容的提问来源于stack exchange，提问作者ayhan