Apache Nutch 2.3.1 OPIC评分过滤器失效问题求助

嘿，我之前在Nutch 2.x集群上调试OPIC评分时也踩过类似的坑，结合你的情况，帮你梳理下核心排查点和解决方向：

一、先确认OPIC评分的核心配置是否生效 #

这是最容易出错的环节，很多时候评分为0就是因为配置没跟上：

• 检查插件加载：确保nutch-site.xml里的plugin.includes包含了scoring-opic插件，比如：

  <property>
    <name>plugin.includes</name>
    <value>... scoring-opic ...</value>
  </property>
  

  如果没加载这个插件，OPIC的逻辑根本不会被触发，所有文档评分自然保持默认的0。
• 指定评分类：Nutch 2.x需要为不同阶段单独配置评分实现，在nutch-site.xml里确认以下配置：

  <property>
    <name>scoring.class</name>
    <value>org.apache.nutch.scoring.opic.OPICScoringFilter</value>
  </property>
  <property>
    <name>dbupdate.scoring.class</name>
    <value>org.apache.nutch.scoring.opic.OPICScoringFilter</value>
  </property>
  <property>
    <name>generate.scoring.class</name>
    <value>org.apache.nutch.scoring.opic.OPICScoringFilter</value>
  </property>
  

  要是这些配置指向了默认的评分类而非OPIC，也会导致评分不更新。

二、关于_csh_字段在Fetcher阶段被移除的问题 #

这个字段是OPIC存储“现金值”的核心字段，它的丢失直接导致评分无法传递：

• 检查HBase schema配置：打开hbase.schema.xml，确认_csh_字段对应的列族被设置为可存储。比如：

  <field name="_csh_" type="float" stored="true"/>
  

  如果stored设为false，HBase不会持久化这个字段，后续阶段自然看不到它。
• 排查Fetcher阶段的字段过滤：有些用户会配置db.ignore.external.links或自定义字段清理规则，导致Fetcher或Parse阶段误删_csh_。可以查看nutch-site.xml里有没有类似parser.skip.fields这类配置，确保_csh_不在被跳过的列表里。

三、迭代轮次与评分传递的逻辑 #

OPIC评分是基于链接传递的，第一轮抓取的文档初始评分默认是1.0，如果第一轮dbupdate没正确计算，后续迭代也不会有评分：

• 查看dbupdate阶段日志：运行dbupdate时，搜索日志里的“OPIC”关键词，比如有没有Updating scores with OPICScoringFilter这类输出。如果没有，说明OPIC逻辑根本没执行，回到第一步检查配置。
• 确认Generate阶段的排序规则：如果generate.order没设为score，Generate阶段不会按OPIC评分排序，但这不影响评分本身的计算。你可以手动查看HBase里的文档数据，确认_score_字段是否有值（OPIC会把现金值同步到_score_字段）。

四、分步排查建议 #

1. 单独运行每个阶段：inject → generate → fetch → parse → dbupdate，每一步完成后用HBase Shell查看文档的_csh_和_score_字段，定位字段消失的具体阶段。
2. 检查HBase表结构：用hbase shell执行describe <your-table-name>，确认_csh_对应的列族存在且允许存储。
3. 验证插件加载：运行nutch plugin命令，查看输出里是否包含scoring-opic插件，确保它被正确加载。

内容的提问来源于stack exchange，提问作者Hafiz Muhammad Shafiq