YouTube Data API PlaylistItems:list分页时视频ID重复问题求助

你调用YouTube Data API的PlaylistItems:list接口获取播放列表视频时，遇到分页结果中出现重复视频ID的问题，这是API使用中可能遇到的常见情况，以下是具体的解决方案：

核心解决思路：客户端本地去重 #

不管API是否返回重复数据，在客户端维护一个已获取视频ID的集合，每次获取分页结果后过滤掉已存在的ID，这是最可靠的解决方式。具体步骤：

• 初始化一个空的**集合（Set）**来存储已获取的唯一视频ID（集合天然去重，查询效率高）
• 每次请求分页数据后，遍历返回的items，提取每个item的contentDetails.videoId
• 检查该ID是否在集合中：不在则保留并加入集合，已存在则直接跳过
• 继续使用返回的nextPageToken请求下一页，直到没有nextPageToken为止

代码示例（Python） #

import requests

# 替换成你的API密钥
API_KEY = "your_api_key_here"
PLAYLIST_ID = "UUTSq8e7ERF1u-dr8l5WWGoQ"

# 用集合存储已获取的唯一视频ID
unique_video_ids = set()
next_page_token = None

while True:
    # 构造请求参数
    request_params = {
        "part": "contentDetails",
        "maxResults": 50,
        "playlistId": PLAYLIST_ID,
        "key": API_KEY,
        "pageToken": next_page_token
    }
    
    # 发起API请求
    response = requests.get(
        "https://youtube.googleapis.com/youtube/v3/playlistItems",
        params=request_params
    )
    response_data = response.json()
    
    # 处理当前页的数据
    for item in response_data.get("items", []):
        video_id = item["contentDetails"]["videoId"]
        if video_id not in unique_video_ids:
            unique_video_ids.add(video_id)
            # 这里添加你的业务逻辑，比如保存到数据库、写入文件等
    
    # 获取下一页的token，没有则退出循环
    next_page_token = response_data.get("nextPageToken")
    if not next_page_token:
        break

print(f"最终获取到 {len(unique_video_ids)} 个唯一视频ID")

补充说明 #

1. 为什么会出现重复？
   这种情况可能是API内部分页机制的偶发问题，或者播放列表在请求过程中被修改（比如重复添加视频）。但无论原因是什么，客户端去重都是通用的健壮性处理手段。
2. 不要依赖API的唯一性保证
   YouTube Data API官方文档并未承诺分页返回的结果完全无重复，所以在处理列表类数据时，本地去重是必要的步骤。
3. 检查播放列表本身
   如果重复的视频ID数量很多，可以手动检查目标播放列表是否真的存在重复添加的视频（比如同一个视频被多次加入播放列表），这种情况也会导致API返回重复结果。

内容的提问来源于stack exchange，提问作者林浩羽