如何使用Golang库实现BigQuery分页？求完整示例代码

以下是完整的代码示例，包含查询执行、分页读取的核心逻辑，关键步骤附带注释说明：

package main

import (
	"context"
	"fmt"
	"log"

	"cloud.google.com/go/bigquery"
)

func main() {
	ctx := context.Background()

	// 初始化BigQuery客户端（需提前完成认证配置）
	client, err := bigquery.NewClient(ctx, "your-project-id")
	if err != nil {
		log.Fatalf("创建客户端失败: %v", err)
	}
	defer client.Close()

	// 构造目标查询语句
	q := client.Query(`
		SELECT column1, column2
		FROM your-dataset.your-table
		WHERE some_condition = true
	`)
	// 自定义每页返回行数（可选，默认由BigQuery控制，最大支持100000行）
	q.PageSize = 1000

	// 执行查询，获取结果迭代器
	it, err := q.Read(ctx)
	if err != nil {
		log.Fatalf("执行查询失败: %v", err)
	}

	// 分页读取核心逻辑
	var pageToken string
	for {
		// 设置当前页的分页标记（首次循环为空，直接读取第一页）
		if pageToken != "" {
			it.PageToken = pageToken
		}

		// 定义结构体映射BigQuery表字段，需与查询返回字段名对应
		type Row struct {
			Column1 string `bigquery:"column1"`
			Column2 int    `bigquery:"column2"`
		}
		var currentPageRows []Row

		// 读取当前页的所有数据
		err := it.NextPage(&currentPageRows)
		if err != nil {
			log.Fatalf("读取当前页失败: %v", err)
		}

		// 业务逻辑：处理当前页数据
		fmt.Printf("当前页读取到 %d 条数据\n", len(currentPageRows))
		for _, row := range currentPageRows {
			fmt.Printf("Column1: %s, Column2: %d\n", row.Column1, row.Column2)
		}

		// 获取下一页的标记，为空则表示所有数据读取完成
		pageToken = it.PageInfo().Token
		if pageToken == "" {
			break
		}
		// 可选：添加请求间隔，避免触发API频率限制
		// time.Sleep(500 * time.Millisecond)
	}

	fmt.Println("所有分页数据处理完成")
}

关键逻辑说明 #

• 分页标记传递：每次读取完一页后，通过it.PageInfo().Token获取下一页的续读标记，循环时将标记赋值给it.PageToken即可从断点继续读取。
• 每页大小控制：通过q.PageSize指定每页返回行数，BigQuery会尽可能匹配该值，但实际返回行数可能略有波动。
• 数据映射：使用带bigquery标签的结构体接收数据，标签值需与查询返回的字段名完全一致。

注意事项 #

• 确保本地环境已配置BigQuery认证（例如通过环境变量GOOGLE_APPLICATION_CREDENTIALS指向服务账号密钥文件）。
• 大规模数据场景下，建议配合异步处理、批量写入等逻辑，避免内存占用过高。
• 可通过iterator.Done错误判断是否正常结束分页，替换示例中的pageToken == ""判断，细化错误处理。

内容的提问来源于stack exchange，提问作者Gilo