BigQuery导出GCS Parquet文件行数不符问题求助

核心问题复盘 #

从BigQuery GA4事件表导出Parquet到GCS时，源查询统计为86554行，导出提示成功导出相同行数，但通过ClickHouse或重新导入BigQuery后统计行数为172509行，其中85662行数据在源表中完全不存在，重复操作问题依旧。

排查步骤 #

1. 验证GCS路径下的实际文件

先确认导出路径下的文件是否仅包含本次导出的内容，避免通配符匹配到旧文件：

gsutil ls gs://some_correct_path/*events_20240824_1_of_11.parquet

检查：

• 文件数量是否为3个（与导出提示一致）
• 文件创建时间是否为本次导出时间，无旧文件残留
• 修正URI格式：将uri = 'gs://some_correct_path/*events_20240824_1_of_11.parquet'改为uri = 'gs://some_correct_path/events_20240824_1_of_11_*.parquet'，确保通配符仅作用于文件名后缀，避免匹配无关文件，同时保证overwrite=true能正确覆盖旧文件。

2. 检查单个Parquet文件的行数

使用parquet-tools工具（需提前安装）逐个统计Parquet文件的行数，确认总和是否与导出提示一致：

# 替换为实际文件名
parquet-tools rowcount gs://some_correct_path/events_20240824_1_of_11_000000.parquet
parquet-tools rowcount gs://some_correct_path/events_20240824_1_of_11_000001.parquet
parquet-tools rowcount gs://some_correct_path/events_20240824_1_of_11_000002.parquet

• 如果总和为86554：说明查询时通配符包含了额外文件，需检查路径匹配规则
• 如果总和为172509：说明BigQuery导出时已生成错误数据，需排查导出逻辑或提交官方支持工单

3. 验证异常数据的来源

在重新导入的自定义表中，提取异常行的核心字段（如event_date、event_timestamp、user_pseudo_id），检查：

• 这些行的时间范围是否超出导出条件
• 是否存在其他任务/进程往同一GCS路径写入数据的情况
• 对比源表和导入表的结构，确认是否因嵌套字段（如event_params、items）被自动扁平化导致行数膨胀（但此情况不会出现源表不存在的数据）

4. 排查导出逻辑的潜在问题

• 确认导出语句的WHERE条件与源查询完全一致，检查event_date字段类型（STRING/DATE）是否导致隐式转换异常
• 尝试更换导出格式为CSV，验证行数是否一致，排除Parquet格式的特定问题
• 缩小导出范围（如仅导出核心字段），看是否仍出现行数不符的情况

5. 官方支持排查

若以上步骤无法定位问题，可收集导出作业ID，提交Google Cloud Support工单，请求排查BigQuery导出后台日志，确认是否存在服务端bug。

内容的提问来源于stack exchange，提问作者Alexandr