YouTube Data API翻页11次后nextPageToken为None排查

这个现象是API机制限制+代码逻辑问题共同导致的，核心原因是API本身的硬限制：

• API强制结果上限：YouTube Data API v3的search.list接口，不管返回的pageInfo.totalResults显示多大数值（你看到的36714是模糊估算值，不是精确可访问结果数），单组查询条件最多仅支持返回500_{600条结果。你设置`maxResults=50`，换算下来就是10}12页数据，之后接口会直接返回nextPageToken=None截断结果，这个是官方写死的规则，没有办法直接绕过。
  补充：你用了order=date按发布时间排序，这种排序模式下可拉取的结果上限会比默认相关性排序更低，和你现在刚好拉11页（550条数据）就终止的表现完全吻合。
• 代码存在3处可修复的逻辑问题：
  • 分页计数错位：第一页数据是在while循环外拉取的，page_iteration变量从循环内才开始累加，你写的page_iteration == 20的终止条件，实际算上第一页总共会拉21页，虽然现在没触发到这个阈值就停了，但计数逻辑是错的。
  • 表头重复写入：每次调用get_channel_data都会往CSV里写一次表头，如果重复调用函数、或者在已有数据的文件上追加，会把表头行插到数据中间，污染数据集。
  • 缩进语法错误：你贴的代码最后两行print和return的缩进不对，运行时会直接报缩进错误。

要采集更多和"news"相关的频道，不要靠单组关键词搜索硬翻页，换以下思路可以拿到更多有效数据：

• 拆分多维度查询条件：不要只用单关键词q=news，搭配不同地区代码、语言代码、细分新闻领域关键词（比如时政、财经、地方新闻等）生成多组查询参数，分别拉取后对channelId去重合并，能覆盖更多相关频道。
• 调整排序规则：把order=date换成默认的order=relevance，可拉取的结果上限会稍高，同时返回结果和关键词的匹配度也更好。
• 换分类查询接口：如果要拿新闻类频道，不要用关键词搜索，先通过guideCategories接口拿到新闻对应的官方分类ID，再关联查询分类下的频道，结果准确率远高于关键词模糊搜索。

ChannelCategory = "news"
import pandas as pd
from csv import writer
import os

def append_list_as_row(file_name, list_of_elem):
    with open(file_name, 'a+', newline='', encoding='utf-8') as write_obj:
        csv_writer = writer(write_obj)
        csv_writer.writerow(list_of_elem)

def get_channel_data(youtube, ChannelCategory, save_path='channel_data1.csv'):
    all_data = []
    # 仅当文件不存在时才写表头
    if not os.path.exists(save_path):
        append_list_as_row(save_path, ['channelId', 'description', 'channelTitle'])
    
    request = youtube.search().list(
        part="snippet",
        channelType="any",
        maxResults=50,
        q=ChannelCategory,
        order="relevance", # 换成相关性排序提升可拉取量和匹配度
        type="channel"
    )
    
    while request is not None:
        response = request.execute()
        # 兼容空结果场景
        if 'items' not in response or len(response['items']) == 0:
            break
        for item in response['items']:
            data = [
                item['snippet']['channelId'],
                item['snippet']['description'],
                item['snippet']['title']
            ]
            all_data.append(data)
            append_list_as_row(save_path, data)
        # 直接调用官方内置的翻页方法生成下一页请求，减少手动维护token的逻辑错误
        request = youtube.search().list_next(request, response)
        print(f"已拉取{len(all_data)}条数据，下一页token：{response.get('nextPageToken')}")
    return pd.DataFrame(all_data)

内容的提问来源于stack exchange，提问作者user18711045