增加Hadoop节点无法提升Nutch爬取速度问题排查求助

1. 爬取任务并行度瓶颈 #

• 确认待爬取URL队列的域名/IP分布：如果绝大多数URL集中在少量域名下，Nutch默认的单域名请求间隔限制（fetcher.threads.per.queue、fetcher.server.delay参数）会直接锁死并发上限，新增节点也无法同时对同一域名发起大量请求
• 检查generate.max.count参数配置：如果单次生成的爬取批次总URL数过少，任务分片填不满5个fetcher的资源，新增的datanode不会被调度到任务

2. Hadoop集群资源配置问题 #

• 核对YARN资源分配阈值：检查yarn.nodemanager.resource.memory-mb、yarn.nodemanager.resource.cpu-vcores配置是否放开，默认配置通常会限制单节点可分配的容器数，就算新增datanode，若YARN没有足够的可分配资源，实际运行的Fetch Map任务数和3节点时不会有差异
• 检查MapReduce任务硬编码配置：如果mapreduce.job.maps参数被设为固定值，会覆盖--num-fetchers的动态配置，实际启动的Fetch任务数不会随节点数增加调整

3. Nutch自身参数匹配问题 #

• 确认fetcher.threads.per.fetcher配置：单fetcher进程的爬取线程数如果设置过低，就算开到5个fetcher，总并发爬取线程数还是无法提升，爬速自然不会有变化
• 检查存储层瓶颈：如果HDFS写入速度已经达到上限，或者集群使用低速HDD作为存储介质，整个爬取流程的瓶颈卡在IO环节，新增计算节点不会带来爬速提升

4. 网络层面瓶颈 #

• 确认集群出口带宽是否被占满：如果3节点运行时出口带宽已经打满，新增节点无法获得额外的带宽资源，爬速不会提升
• 检查是否存在IP封禁、限流策略：如果目标站点对集群出口IP做了访问限速，不管开多少并发爬取请求，返回速度都会被限制

内容的提问来源于stack exchange，提问作者Halim Kim