Apache Nutch 2.3.1生成阶段Gora刷写记录疑问

我来帮你拆解这个日志背后的逻辑，其实这是Gora批量写入机制的正常表现，和你担心的参数问题并不冲突：

• 先理清两个关键参数的区别：你提到的gora.buffer.read.limit是Gora在读取数据阶段的缓冲限制（默认10000），而日志里的刷新操作属于写入数据阶段，由另一个独立的配置控制——Gora针对HBase的默认批量写入阈值gora.hbase.batchsize，这个参数的默认值就是60000。当Gora的RecordWriter累积到60000条待写入的记录时，就会触发一次flush操作，把内存中的批量数据写入HBase，以此减少和HBase的交互次数，提升整体写入性能。

• 为什么10万条URL最终都能被标记：这个flush是分批执行的，不是说只能处理60000条。第一次flush完成60000条的写入后，剩下的40000条会继续在内存中累积，当任务接近结束时（或者再次达到阈值时），会执行最后一次flush，把剩余的记录全部写入HBase。所以最终10万条URL都能成功标记为待抓取，这完全符合预期。

• 额外补充：如果后续你需要调整批量写入的大小，可以修改Gora配置文件中的gora.hbase.batchsize参数，但默认的60000已经是一个平衡了内存占用和写入性能的合理值，没有特殊需求的话不需要改动。

内容的提问来源于stack exchange，提问作者Hafiz Muhammad Shafiq