查询BigQuery结果导出至GCS任务的进度或状态方法

这个问题太实用了——处理大结果集导出时，看不到进度确实让人心里没底。结合BigQuery和GCP的特性，我整理了几种可行的监控方案，帮你掌握任务状态：

导出流程其实分为查询计算和结果导出两个阶段，先从查询阶段的监控说起：

当你通过PHP API创建导出任务时，本质上是先执行一个查询作业（或直接从现有表导出），每个作业都有唯一的Job ID。你可以通过轮询这个Job的状态，获取查询阶段的进度：

use Google\Cloud\BigQuery\BigQueryClient;

// 初始化BigQuery客户端
$bigQuery = new BigQueryClient();
$job = $bigQuery->job('YOUR_JOB_ID');

// 刷新获取最新状态
$job->refresh();
$status = $job->status();
$stats = $job->statistics();

if ($status['state'] === 'RUNNING') {
    // 如果是查询作业，提取进度数据
    if (isset($stats['query']['progress'])) {
        $progress = $stats['query']['progress'];
        $processedBytes = $progress['bytesProcessed'];
        $totalBytes = $progress['totalBytesToProcess']; // 待处理的总字节数
        
        $progressPercent = ($processedBytes / $totalBytes) * 100;
        echo "查询进度：" . number_format($progressPercent, 2) . "%（已处理 " . number_format($processedBytes / 1024/1024, 2) . " MB）";
    }
} elseif ($status['state'] === 'DONE') {
    if (isset($status['errorResult'])) {
        echo "作业失败：" . $status['errorResult']['message'];
    } else {
        echo "查询阶段完成，进入导出环节！";
    }
}

当查询完成后，BigQuery会开始将结果写入GCS。这个阶段BigQuery没有直接暴露进度API，但我们可以通过监控GCS中的文件来间接获取已导出的数据：

BigQuery导出大结果集时会自动生成分片文件（比如 export-00000-of-00015.csv），你可以定期列出目标存储桶下的对应文件，统计总大小和数量：

use Google\Cloud\Storage\StorageClient;

// 初始化GCS客户端
$storage = new StorageClient();
$bucket = $storage->bucket('YOUR_BUCKET_NAME');

// 导出文件的前缀（根据你的导出路径设置）
$exportPrefix = 'path/to/your/exports/';

$totalSizeBytes = 0;
$fileCount = 0;

// 遍历目标路径下的所有文件
foreach ($bucket->objects(['prefix' => $exportPrefix]) as $object) {
    $totalSizeBytes += $object->size();
    $fileCount++;
}

// 转换为易读的单位
$totalSizeMB = $totalSizeBytes / (1024 * 1024);
$totalSizeGB = $totalSizeBytes / (1024 * 1024 * 1024);

echo "已导出 {$fileCount} 个文件，总大小：" . number_format($totalSizeMB, 2) . " MB（" . number_format($totalSizeGB, 2) . " GB）";

BigQuery没有官方API提供精确的预计完成时间，因为处理速度受集群负载、数据分布、查询复杂度等多种因素影响。但你可以基于历史进度数据自己估算：

比如，记录两次轮询之间的时间差和处理/导出的数据量，计算出速率（比如MB/分钟），再用剩余需要处理/导出的数据量除以速率，得到大致的剩余时间。

举个简单的示例逻辑：

// 假设你已经记录了上一次的时间和进度
$previousTime = 1690000000; // 上一次查询的时间戳
$previousProcessedMB = 500;

$currentTime = time();
$currentProcessedMB = $totalSizeMB; // 或者查询阶段的已处理MB数

$timeElapsed = $currentTime - $previousTime;
$mbProcessed = $currentProcessedMB - $previousProcessedMB;

if ($timeElapsed > 0 && $mbProcessed > 0) {
    $rate = $mbProcessed / ($timeElapsed / 60); // MB/分钟
    $remainingMB = $totalExpectedMB - $currentProcessedMB; // 你需要预先知道总预计大小（比如从查询作业的统计中获取）
    $remainingMinutes = $remainingMB / $rate;
    
    echo "预计剩余时间：" . number_format($remainingMinutes, 0) . " 分钟";
}

如果不想频繁轮询作业状态，可以配置Cloud Pub/Sub接收BigQuery作业的状态变更通知。当作业完成（成功或失败）时，Pub/Sub会发送消息到你的订阅，这样你就不用一直查询API了。不过这个方法主要用于状态变更通知，无法获取中间进度。

内容的提问来源于stack exchange，提问作者Waku-2