关于YouTube Data API返回结果不一致及重复项的技术问询

问题背景 #

之前排查过类似的YouTube Data API返回结果不一致的问题，多数通过调整请求参数就能解决，但这些方法对本次情况无效；也试过用next-page token处理分页重复的问题，已经在脚本里实现了该逻辑，但问题依然存在。

请求参数 #

通过VBA脚本调用的首次请求URL：

https://www.googleapis.com/youtube/v3/search?q=3D print&type=video&maxResults=50&part=id,snippet&order=viewCount&key=<my key>

具体问题 #

脚本会自动用next-page token分页请求，两次运行均返回649个视频ID，但结果存在差异：

• 第二次运行出现6个首次请求未返回的视频ID
• 首次请求中的3个视频ID未出现在第二次结果中
• 第二次结果里有3个重复的视频ID

问题分析与解决建议 #

1. 请求方式是否有问题？ #

首先，YouTube Data API的search接口本身就存在结果波动的特性：

• YouTube的内容库是实时更新的，哪怕参数完全一致，不同时间请求可能因为新视频上线、旧视频数据更新（比如播放量统计延迟），或者API内部负载均衡、索引调整，导致返回结果出现变化。
• 其次，要检查VBA脚本对next-page token的处理逻辑：确认每次分页请求是否正确传递了上一次返回的pageToken，有没有出现重复请求同一页、或者漏传token的情况——不过你两次都拿到了649个结果，大概率token处理是正常的，但可以加日志验证每一页的token是否正确。
• 结果中的重复ID，除了脚本处理的问题，API偶尔也会因为索引更新，让同一视频出现在不同分页结果里。

2. 如果无法消除波动，是否只能多次合并结果？ #

是的，多次抓取后合并去重是目前最稳妥的方案：

• 多运行几次脚本（比如3-5次），把所有返回的视频ID收集起来，然后去重，这样能覆盖单次请求漏掉的视频，也能减少波动带来的结果缺失。
• 可以把每次抓取的结果持久化保存（比如存到Excel表格或者本地文件），后续合并的时候直接比对去重即可。

额外优化建议 #

• 如果不需要全时段的3D打印视频，可以在请求里加上publishedAfter或publishedBefore参数缩小时间范围，能一定程度降低结果波动的影响。
• 可以检查API返回的pageInfo.totalResults字段，确认是否真的获取到了所有可返回的结果——不过这个字段是估算值，实际能拿到的结果可能和估算有差异。

内容的提问来源于stack exchange，提问作者NewSites