处理每日超10000行Google Analytics数据：google.analytics.data_v1beta API分页与维度过滤难题

1. 维度分块查询 #

选择高基数维度（如user_id、session_id或自定义唯一标识维度），对其取值范围分段拆分查询：

• 针对字符串型维度：按首字符区间拆分，比如先查user_id以A-F开头的数据，再依次处理G-L、M-R等区间
• 针对数值型维度：按数值区间拆分，比如session_number BETWEEN 1 AND 1000、1001 AND 2000等
  确保每个分块查询的结果行数不超过10000，最后合并所有分块数据。

2. 日期+维度组合分块 #

若单日数据量仍超限，将日期拆分为更细粒度（如小时），再叠加维度分块：

• 先按小时拆分查询，比如date = '2024-05-20' AND hour = '00'，依次处理01到23点的区间
• 若小时粒度下仍超限制，再结合维度分块（如小时+用户ID首字符）进一步缩小查询范围

3. 使用异步批量查询接口 #

API提供的RunReportAsync异步接口支持处理超大规模数据，其结果行数限制远高于同步查询，且支持自动返回全量分页数据：

from google.analytics.data_v1beta import AnalyticsDataClient
from google.analytics.data_v1beta.types import RunReportAsyncRequest, DateRange, Dimension, Metric
import time

client = AnalyticsDataClient()

# 提交异步查询请求
request = RunReportAsyncRequest(
    property="properties/123456789",
    date_ranges=[DateRange(start_date="2024-01-01", end_date="2024-05-20")],
    dimensions=[Dimension(name="user_id"), Dimension(name="event_name")],
    metrics=[Metric(name="event_count")]
)
response = client.run_report_async(request)

# 轮询获取查询结果
while True:
    result = client.get_report_async(response.name)
    if result.status.state == "SUCCEEDED":
        # 处理全量结果数据
        break
    time.sleep(10)

4. 关联BigQuery导出查询 #

若GA4属性已关联BigQuery，直接在BigQuery中查询全量数据是最优解：

• 在GA4后台开启每日或实时数据导出到BigQuery
• 直接编写SQL查询所需数据，完全避开API的行数限制，同时支持复杂的聚合、过滤逻辑

内容的提问来源于stack exchange，提问作者Guilherme Lorenzetti