这里有几个实用的算法思路，能帮你解决重复爬取的问题，适配你当前使用的Graph API /group/feed 接口特性：

• 维护本地元数据索引
  每次爬取后，为每个帖子记录关键信息到数据库或本地缓存：

  • 帖子唯一id
  • 帖子的created_time
  • 首次抓取到的updated_time（记为latest_tracked_updated_time）
  • 对应帖子最新评论的created_time或分页cursor（用于评论增量拉取）
    下次爬取时：
  • 先过滤掉数据库中已存在且updated_time等于latest_tracked_updated_time的帖子，跳过处理
  • 对updated_time大于latest_tracked_updated_time的帖子，只拉取新增的评论（用评论的时间范围或分页参数限定），而不是全量拉取整个线程

• 分阶段爬取：首次全量+后续增量
  针对since/until仅作用于updated_time的特性，拆分爬取流程：

  • 首次全量爬取：按时间分段（比如按周），用since和until限定updated_time的范围，同时覆盖对应时间段的created_time（因为帖子创建时updated_time等于created_time），批量拉取所有帖子并记录元数据。如果群组历史数据多，可以逐步缩小时间范围分批处理，避免单次请求数据量过大。
  • 后续增量爬取：每次爬取时，仅拉取updated_time大于上次爬取的结束时间点的内容。这里面包含两类内容：新创建的帖子（created_time等于updated_time）和有新评论的旧帖子。对新帖子直接拉取全量评论，对旧帖子只拉取新增部分。

• 优化群组遍历逻辑
  不要每次循环都从头遍历所有群组，而是为每个群组单独记录上次爬取的时间戳（即上次处理到的updated_time最大值）。下次处理该群组时，直接用since=上次时间戳作为接口参数，只拉取该时间之后更新的内容，彻底避免重复处理无更新的帖子。

• 评论的增量拉取优化
  对于每个帖子，除了跟踪帖子的updated_time，还要记录该帖子最后一次爬取到的评论的最大created_time，或者Graph API返回的评论分页after游标。当检测到帖子updated_time更新时，用since=最新评论时间或after=上次游标调用评论接口，只获取新增的评论，大幅减少不必要的请求和数据处理。

内容的提问来源于stack exchange，提问作者UnderpoweredNinja