Apache Nutch未抓取所有入链网站的技术咨询

我来帮你拆解下这个问题的可能原因和解决办法，结合你给出的配置片段和Nutch 2.x常见的坑点：

首先先把你提供的配置片段整理出来方便参考：

<configuration>
  <property>
    <name>db.score.link.internal</name>
    <value>5.0</value>
  </property>
  <property>
    <name>enable.domain.check</name>
    <value>true</value>
  </property>
  <property>
    <name>http.timeout</name>
    <value>30000</value>
  </property>
  <!-- 你提到的`genera...`应该是Generator相关配置，大概率没粘贴完整 -->
</configuration>

## 1. 先排查域名限制带来的过滤问题
你已经开启了`enable.domain.check`为`true`，这时候必须检查`conf/urlfilter-domain.xml`里的规则是否把入链网站的域名给限制住了：
- 打开这个配置文件，看看是不是只添加了你目标域名的允许规则（比如`+^http://www.your-target.com/`），完全没包含那些入链网站的域名
- 如果需要抓取跨域的入链，要么在规则里逐个添加允许的入链域名，要么临时把`enable.domain.check`设为`false`（但注意这可能导致抓取范围失控，更推荐精准配置域名规则）

## 2. 检查Generator组件的限制参数
从你没粘贴完的`genera...`来看，Generator的配置很可能限制了抓取链接的数量或优先级：
- 去`conf/nutch-site.xml`里找`generator.topN`参数，这个值控制每次生成抓取任务的最大链接数，如果入链数量超过这个值，优先级低的链接会直接被忽略
- 你设置的`db.score.link.internal`是5.0（内部链接得分较高），但如果入链是外部链接，默认的`db.score.link.external`分值可能很低，导致被Generator过滤。可以调高这个外部链接得分，或者降低`generator.min.score`参数，让低得分的入链也能被选中

## 3. 确认抓取深度配置是否足够
入链网站的链接深度如果超过了Nutch的配置上限，也会被终止抓取：
- 检查`conf/nutch-site.xml`里的`db.max.depth`和`fetch.depth`两个参数，默认值可能比较小（比如3），如果入链的层级比较深，适当调高数值（比如设为10，根据你的实际需求调整）

## 4. 排查其他URL过滤器的拦截规则
除了域名过滤器，还有其他URL过滤器可能误拦截入链：
- 打开`conf/urlfilter-regex.xml`，看看里面的正则规则是不是不小心过滤了入链网站的URL格式
- 检查`conf/urlfilter-suffix.xml`，是否限制了允许抓取的文件后缀（比如只允许.html），而入链里有其他后缀的页面（比如.php、.asp）被直接过滤

## 5. 检查HBase存储中的链接状态
Nutch 2.x用HBase存储链接的状态数据，部分入链可能被标记为已抓取或跳过：
- 可以通过HBase命令行查看`webpage`表的状态列：
  ```bash
  hbase shell
  scan 'webpage', {COLUMNS => 'status:status', LIMIT => 100}

• 如果发现入链的状态是GONE或SKIPPED，可以手动重置为UNFETCHED，重新尝试抓取：

  # 示例：更新某个入链URL的状态
  put 'webpage', 'http://your-inbound-link.com/', 'status:status', 'UNFETCHED'
  

6. 调整爬虫队列与抓取频率设置 #

如果入链抓取缓慢或者被队列限制，也会看起来像没抓取到：

• 查看conf/nutch-site.xml里的queue.mode参数，如果是byHost，同一主机的抓取频率限制可能导致入链被延迟；可以改成byDomain或byIP来分散抓取压力
• 适当调低fetch.server.delay和fetch.queue.delay参数，降低抓取间隔，让更多入链能被及时加入抓取队列

内容的提问来源于stack exchange，提问作者Hafiz Muhammad Shafiq