Nutch技术问题：如何在索引阶段过滤URL而非爬取阶段？

刚好我之前处理过类似的需求，Nutch完全能实现你要的「爬取全站内容，但只给部分URL建立索引」的效果，核心是把过滤逻辑从爬取阶段转移到索引阶段，下面是两种最常用的靠谱方案：

方案1：复用regex-urlfilter在索引阶段过滤 #

你熟悉的regex_urlfilter.txt其实不止能在爬取阶段用，我们可以单独给索引阶段配置一套过滤规则，具体步骤如下：

1. 打开Nutch的核心配置文件nutch-site.xml，添加配置让索引阶段加载URL过滤器：

   <property>
     <name>indexer.filter.order</name>
     <value>regex-urlfilter</value>
     <description>指定索引阶段启用regex-urlfilter过滤器</description>
   </property>
   

2. 复制一份现有的regex_urlfilter.txt（建议重命名为regex_urlfilter_index.txt，避免和爬取阶段的规则混淆），在这份新文件里编写仅允许索引的URL规则——记得逻辑是「先拒绝所有，再放行符合条件的」，示例规则：

   # 默认拒绝所有URL
   -^.*$
   # 放行博客板块的所有URL
   +^https?://your-domain.com/blog/.*$
   # 放行产品详情页的URL
   +^https?://your-domain.com/products/.*$
   

3. 回到nutch-site.xml，添加配置指定索引阶段用的规则文件：

   <property>
     <name>indexer.regex.urlfilter.file</name>
     <value>regex_urlfilter_index.txt</value>
     <description>索引阶段专用的URL过滤规则文件</description>
   </property>
   

这样配置后，爬取阶段还是会按原有规则抓取全站内容，但在往Solr写索引之前，会用这份新规则过滤掉不需要索引的URL，完全符合你的需求。

方案2：自定义Indexing Filter插件（适合复杂逻辑） #

如果你的过滤需求不止看URL，还要结合页面内容、元数据（比如页面标题、meta标签）来判断，那自定义一个索引过滤器插件更灵活：

• 继承Nutch的IndexingFilter抽象类，实现filter()方法，在方法里写你的判断逻辑：

  public NutchDocument filter(NutchDocument doc, Parse parse, Text url, CrawlDatum datum, Inlinks inlinks) throws IOException {
      String urlStr = url.toString();
      // 举个例子：只索引包含/blog/或/products/的URL，同时页面标题包含「原创」
      if ((urlStr.contains("/blog/") || urlStr.contains("/products/")) && parse.getText().contains("原创")) {
          return doc; // 返回文档，会被索引
      } else {
          return null; // 返回null，该文档会被跳过索引
      }
  }
  

• 编译插件后，在nutch-site.xml的indexer.filter.order里加上你的插件名称，让索引阶段加载它就行。

几个注意点 #

• 爬取阶段的regex_urlfilter.txt保持原样，不要修改，确保全站内容都能被抓取；
• 索引阶段的规则逻辑要清晰，别搞混「允许」和「拒绝」的顺序，避免规则冲突；
• 测试时可以单独运行nutch index命令，看看Solr里的结果是否符合预期，这样调试起来更快。

内容的提问来源于stack exchange，提问作者Sudha Sompura