如何获取GCP/Google API Client超500条限制的全量返回结果

GCP 全系列列表类API均内置与AWS Paginators等效的标准分页机制，不需要依赖额外工具即可拉取全量数据，核心逻辑基于分页令牌实现，有两种常用实现方式：

自动分页（推荐） #

官方Python客户端自带list_next()方法，会自动处理令牌传递、参数继承逻辑，使用体验和boto3 Paginators基本一致，不需要手动维护分页状态：

from googleapiclient import discovery

resource_object = discovery.build('compute', 'v1')
request = resource_object.firewalls().list(project="myproject-123456", maxResults=500)
all_firewalls = []

while request is not None:
    response = request.execute()
    all_firewalls.extend(response.get('items', []))
    # 自动生成下一页请求对象
    request = resource_object.firewalls().list_next(previous_request=request, previous_response=response)

print(f"拉取到的防火墙规则总条数：{len(all_firewalls)}")

手动分页 #

如果需要自定义单页大小、在分页流程中插入自定义逻辑，可以手动读取响应中的nextPageToken字段，作为下一次请求的pageToken参数传入，直到响应中不存在nextPageToken字段时，即完成全量数据拉取：

from googleapiclient import discovery

resource_object = discovery.build('compute', 'v1')
all_firewalls = []
page_token = None

while True:
    response = resource_object.firewalls().list(
        project="myproject-123456",
        maxResults=200, # 可在0-500区间内自定义单页返回条数
        pageToken=page_token
    ).execute()
    all_firewalls.extend(response.get('items', []))
    page_token = response.get('nextPageToken')
    if not page_token:
        break

print(f"拉取到的防火墙规则总条数：{len(all_firewalls)}")

注意：GCP所有服务的列表接口都遵循统一的分页规则，计算引擎、云存储、IAM等不同服务的list接口，分页逻辑完全一致，不需要单独适配。

内容的提问来源于stack exchange，提问作者John Heyer