GCP ETL管道BQ到BQ环节location表无报错追加数据失败问题

最高优先级修复：补全作业等待逻辑与异常捕获 #

当前代码核心缺陷是所有BigQuery提交的作业均为异步执行，代码未等待作业完成就进入下一环节/直接退出，这是该类无报错丢数据问题的最高频诱因：

• contacts、installed_apps单批次数据量小，加载、查询作业执行速度快，在Python脚本进程退出前就已经执行完成，因此表现为运行正常
• location单批次数据量大，GCS到BQ的加载作业耗时更长，若不等待加载完成就发起第三步查询，查询读取的是加载作业完成前的inc表快照（BigQuery加载作业为原子操作，WRITE_TRUNCATE模式下作业成功前不会替换目标表原有数据），要么读到旧数据要么读到空值；同时若查询作业本身执行报错，未等待作业返回的情况下不会输出任何错误日志，完全无法感知异常。

直接按如下方式修改两段核心代码，强制同步等待作业结果并打印校验信息：

GCS到BQ加载环节修改 #

bq_client = bigquery.Client()
job_config = bigquery.LoadJobConfig()
job_config.source_format = bigquery.SourceFormat.PARQUET
# WRITE_TRUNCATE为覆盖写，作业完成前不会改动原表数据
job_config.write_disposition = "WRITE_TRUNCATE"

job = bq_client.load_table_from_uri(
    src_uri, 
    table_ref,
    job_config=job_config
)
# 等待加载作业完成，超时时间根据单批次数据量调整，单位为秒
job.result(timeout=1800)
# 打印加载结果做校验
print(f"inc表加载完成，作业ID: {job.job_id}，加载行数: {job.output_rows}")

BQ到BQ追加写入环节修改 #

bq_client = bigquery.Client()

job_config = bigquery.QueryJobConfig(
    destination=table_id,
    write_disposition="WRITE_APPEND",
    allow_large_results=True
)

query_job = bq_client.query(query, job_config)
# 等待查询作业完成
result = query_job.result(timeout=3600)
# 打印写入结果做校验
affected_rows = query_job.num_dml_affected_rows if query_job.num_dml_affected_rows else result.total_rows
print(f"main表写入完成，作业ID: {query_job.job_id}，写入行数: {affected_rows}")

修改后重新运行location表任务，绝大多数场景会直接抛出明确错误信息，包括但不限于schema不匹配、配额超限、权限不足、分区校验失败等，直接根据报错对应处理即可。

第二优先级排查：校验两表Schema一致性 #

若补全等待逻辑后仍未复现报错，直接对比inc.location_inc与main.location_main的表结构，重点核查以下项：

• 字段类型、字段顺序、字段是否为必填(REQUIRED)完全一致：Parquet加载到inc表时若开启自动schema推演，可能出现字段类型与main表不匹配的情况（比如经纬度字段inc表为FLOAT64、main表为NUMERIC，或者时间戳字段类型不一致），小数据量下BigQuery会自动做隐式转换，全量数据时执行计划变化可能导致转换静默失败
• 若main表为分区/聚簇表，检查查询语句是否包含分区字段过滤条件，未命中分区且开启分区写入严格校验时，会出现写入0行的情况
• 检查inc表中是否存在main表REQUIRED字段对应的NULL值，小批次拆分时抽样未覆盖到NULL值行，全量写入时触发非空约束导致写入失败

第三优先级排查：配额与服务限制问题 #

若前两步未定位根因，去BigQuery控制台「作业历史」中找到对应location写入的作业ID，查看作业详情页核查：

• 是否触发单表每日WRITE_APPEND操作配额上限，大流量时序类表容易触顶
• 单查询扫描/写入数据量是否超过服务限制，开启allow_large_results后要求目标表必须为持久化原生表，不能使用临时表作为写入目标
• 是否存在单字段值超过BigQuery字段大小限制的脏数据，小批次拆分时刚好未抽到对应脏数据行，全量写入时触发限制导致失败

快速验证方法 #

当前已验证拆分小批次可正常写入，可先将第三步查询语句临时加LIMIT 1000做测试，若小批量写入正常、全量写入无结果，基本可确定为异步作业未等待、全量数据触发schema/配额限制两类问题。

内容的提问来源于stack exchange，提问作者Syntax Error