如何在Cloud Function中捕获BigQuery存储过程内部语句异常？

问题原因 #

BigQuery存储过程作业状态显示成功但内部语句抛异常，本质是存储过程自身捕获并处理了内部异常（比如内置TRY-CATCH逻辑），或是异常未导致整个存储过程终止。这种情况下，BQ作业的顶层状态为成功，Cloud Function里的job.result()不会触发外层Exception，现有try-catch自然捕获不到。

可行解决方案 #

方案1：修改存储过程，让内部异常向上抛出 #

如果有权限调整存储过程，可去掉内部异常捕获逻辑，或在捕获后主动重新抛出异常，确保异常传递到顶层作业。比如在存储过程的CATCH块中添加THROW;语句（BigQuery SQL支持的语法），这样内部语句出错时，整个BQ作业会标记为失败，job.result()会抛出异常，外层try-catch就能捕获。

示例存储过程改造（伪代码）：

CREATE OR REPLACE PROCEDURE `utl.##`(param1 INT64, param2 INT64, param3 INT64)
BEGIN
  DECLARE EXIT HANDLER FOR SQLEXCEPTION
  BEGIN
    -- 可选：记录错误日志
    INSERT INTO `utl.proc_errors` (error_msg, proc_name) VALUES (SQLERRM, 'utl.##');
    -- 重新抛出异常，触发顶层作业失败
    THROW;
  END;

  -- 原存储过程业务语句
  INSERT INTO `utl.target_table` VALUES (param1, param2, param3);
END;

方案2：在Cloud Function中主动检查作业内部日志 #

如果无法修改存储过程，可在Cloud Function中主动查询BQ作业的详细执行日志，排查内部语句的错误。

修改后的Python代码示例：

from google.cloud import bigquery

client = bigquery.Client()

try:
    sql = """CALL `utl.##`(NULL, 1, 3);"""
    job = client.query(sql)
    job.result()

    # 先检查作业顶层错误
    if job.error_result is not None:
        raise Exception(job.error_result['message'])

    # 查询作业详细执行日志，筛选内部错误
    log_query = f"""
        SELECT step_id, error_message, statement
        FROM `region-{client.location}.INFORMATION_SCHEMA.JOB_DETAILS`
        WHERE job_id = '{job.job_id}'
        AND error_message IS NOT NULL
        ORDER BY start_time DESC
    """
    log_results = client.query(log_query).result()

    for log_row in log_results:
        raise Exception(f"存储过程内部语句出错: 步骤{log_row.step_id} - {log_row.error_message}\n语句: {log_row.statement}")

    print(f"job executed for query:{sql}")
except Exception as e:
    print(f"error message: {str(e)}")

这段代码在作业执行成功后，主动查询INFORMATION_SCHEMA.JOB_DETAILS视图，检查每一步执行是否有错误，若存在则主动抛出异常，触发外层异常处理逻辑。

内容的提问来源于stack exchange，提问作者Mudgal