使用Steamworks接口获取Steam游戏评论时始终返回同一页面的问题

我之前爬取Steam游戏评论时也碰到过一模一样的坑，尤其是处理Dota2这种评论量超大的游戏时，用start_offset分页到一定数值后就开始返回重复内容。这其实是Steam的appreviews接口的隐性限制导致的，给你几个实际可行的解决方案：

• 放弃start_offset，改用cursor分页
  Steam官方文档里其实隐含了这个最佳实践：每次请求评论后，返回的JSON数据里会包含一个cursor字段（在response对象下），这个值是Steam用来标记当前分页位置的唯一标识符，比手动计算的start_offset可靠得多。
  操作步骤示例：

  1. 首次请求：http://store.steampowered.com/appreviews/570?json=1
  2. 从返回结果中提取cursor的值（类似AoJ4s70Vq2C1q7+FAA==这类字符串）
  3. 下一页请求：http://store.steampowered.com/appreviews/570?json=1&cursor=AoJ4s70Vq2C1q7+FAA==
     用这种方式分页，就能持续获取到新的评论，不会出现重复的情况。

• 明白start_offset的局限性
  Steam对start_offset的有效范围有隐性限制，当偏移量超过某个阈值后，接口就无法正确定位到对应的评论位置，只能返回最近的一批评论。而且如果期间有新评论发布或旧评论被删除，start_offset还会导致评论重复或遗漏，这也是官方更推荐cursor的核心原因。

• 注意请求频率限制
  爬取大量评论时，Steam会对请求频率做限制，如果短时间内请求次数过多，可能会被返回错误或重复内容。建议每次请求之间添加1-2秒的延迟，避免触发限流机制。

内容的提问来源于stack exchange，提问作者Zhen Zuo