关于StormCrawler文档去重规划及Signature元数据思路的咨询

嘿，我来帮你解答这两个问题：

目前StormCrawler确实没有内置的Document Deduplication功能。关于该功能是否纳入未来开发规划，你可以留意官方的GitHub仓库里的Issues和Roadmap板块——截至目前，公开信息里还没有看到官方明确将该功能列为近期开发计划，但如果社区对这个需求的呼声比较高，后续是有可能被提上日程的。

这个思路完全是合理的，而且是目前在StormCrawler中实现自定义文档去重的可行方案之一，具体可以这么落地：

• 首先，在爬虫的处理流程中（比如通过自定义的Bolt），为每个生成的Document计算唯一的Signature值——你可以基于文档的核心内容哈希、规范化后的URL，或者结合两者来生成，确保相同内容的文档能得到一致的签名。
• 把这个Signature作为元数据存入Status Core，同时可以记录该签名对应的文档状态（比如已索引）。
• 在索引前的处理环节，先查询Status Core中是否存在当前Document的Signature：如果存在，说明这是重复文档，直接跳过索引步骤；如果不存在，就继续执行索引，并将新的Signature存入Status Core。

需要注意的几个细节：

• 签名生成的策略要稳定，避免因为文档的微小无关变动（比如页面广告、时间戳变化）导致生成不同的签名，否则会漏掉重复文档。
• 考虑到大规模爬虫的性能，要确保Status Core的查询和写入操作足够高效，必要时可以对Signature字段做优化（比如设置合适的索引）。

内容的提问来源于stack exchange，提问作者msuman49