部署于Cloud Run的GCP BigQuery查询API如何实现分页取全量数据

问题根因 #

你当前代码仅返回前10000条记录，核心是client.list_rows方法中配置的max_results=10000参数限制了返回总条数的上限。

方案1：直接获取全量结果 #

如果不需要拆分分页返回给API调用方，仅需服务端拉取所有查询结果，直接移除max_results参数即可，BigQuery Python SDK会自动处理内部分页逻辑，批量拉取全量数据：

from google.cloud import bigquery
client = bigquery.Client()
query_res = client.query(query)
# 等待查询任务执行完成
query_res.result()
# 移除max_results参数，SDK自动逐页拉取全部数据，page_size可按需调整单次拉取的批次大小
rows = client.list_rows(query_res.destination, page_size=10000)
# 转换为字典格式方便后续返回
all_data = [dict(row) for row in rows]

方案2：实现API分页返回能力 #

你当前对外提供了HTTP API服务，若需要调用方按页获取数据，可透传BigQuery的分页token实现：

接口改造点 #

• 新增两个请求参数：
  • page_token：分页标识，首次请求无需传入，后续请求传入上一次返回的下一页标识
  • page_size：单页返回条数，默认可设置为10000，支持调用方自定义
• 接口返回结构新增next_page_token字段，无更多数据时该字段为null

代码示例 #

from google.cloud import bigquery
client = bigquery.Client()

def query_bigquery(query, page_size=10000, page_token=None):
    # 执行查询
    query_job = client.query(query)
    query_job.result()
    # 按参数拉取指定页数据
    row_iterator = client.list_rows(
        query_job.destination,
        page_size=page_size,
        page_token=page_token
    )
    # 转换数据格式
    page_data = [dict(row) for row in row_iterator]
    # 返回当前页数据 + 下一页的分页token
    return page_data, row_iterator.next_page_token

注意事项 #

• BigQuery查询生成的临时结果表默认保留24小时，分页请求需要在24小时内完成，否则分页token会失效。如果需要支持更长周期的分页查询，可将查询结果写入你自己创建的永久表中，后续基于该永久表执行分页拉取即可。

内容的提问来源于stack exchange，提问作者Ubaid ur Rehman