基于Common Crawl搭建合格搜索引擎的技术需求与数据问询

1. 数据快照独立性与搜索引擎搭建要求 #

• 这些数据快照并非完全独立：每个周期的快照会抓取既有网页的更新版本，也会覆盖新上线网页，不同快照间存在内容重叠（比如同一网页的不同时间版本、重复抓取的相同网页），但每个快照本身是独立的抓取任务结果，可单独使用。
• 搭建合格的多领域网页搜索引擎不需要整合全部快照：
  • 若仅需提供当前活跃网页的检索服务，选取最近3-6个周期的快照即可满足需求；
  • 若需支持网页历史版本检索或覆盖长尾历史内容，才需要整合部分或全部历史快照，但仍需做去重、版本合并处理。

2. 重复数据占比与剥离冗余后的规模 #

• 重复数据占比：Common Crawl仓库中，完全重复（内容完全一致）的网页占比约15%-25%，加上近似重复（内容差异极小，仅广告、布局变更等）的网页，总重复率在30%-50%区间，不同年份的快照重复率略有波动，早期快照重复率相对偏低。
• 剥离HTML标签及冗余后的规模：仅保留原始文本内容时，数据量通常压缩为原规模的5%-15%。按总规模22PB计算，处理后的数据规模约在1.1PB至3.3PB之间，具体占比取决于网页类型——新闻、博客类文本占比高，动态交互类网页文本占比低。

3. 《纽约时报》网页跨负载重复情况与清理需求 #

• 2015年3月收录的《纽约时报》网页后续出现概率分两类：
  • 常青内容（如深度报道、专栏经典文章）：后续快照中的重复出现概率约30%-60%，这类内容会被多次抓取；
  • 时效性内容（如当日新闻、突发报道）：后续重复出现概率低于10%，仅少数会被归档类页面引用而重复收录。
• 跨负载重复问题确实存在，尤其是常青类网页，因此搭建检索系统时必须进行去重清理，常用方式包括基于URL的精确去重、基于内容哈希的完全重复去重、基于文本指纹的近似重复去重，否则会导致检索结果大量重复，严重影响用户体验。

内容的提问来源于stack exchange，提问作者NedStarkOfWinterfell