Vertex AI中图像数据模型监控失效问题排查咨询

1. 可能的问题根源 #

• 监控任务未触发：虽设置每小时运行，但可能还未到首次调度时间，或任务配置存在隐性错误导致未被正常调度。
• 预测数据未被正确捕获：Apache Bench发送的请求格式不符合Vertex AI监控系统解析要求，比如图像以原始二进制流传递而非base64编码字符串，或模型端点未将预测数据上报至监控管道。
• 基线数据未完成处理：无训练数据的漂移检测需先积累初始预测数据生成基线，刚发送完请求立刻检查时，系统可能还在处理基线生成流程，暂未输出结果。
• 存储桶权限不足：Vertex AI监控服务账号无两个存储桶的写入权限，导致生成的日志或分析结果无法落地。
• 请求未有效到达端点：Apache Bench的请求可能返回非200状态码，未产生有效预测记录，自然不会生成监控数据。

2. Vertex AI对图像数据的支持情况 #

Vertex AI完全支持图像分类模型的预测漂移检测，但需满足两个前提：

• 图像需以可解析格式传递，比如base64编码的字符串，监控系统无法直接解析原始二进制流特征。
• 部署模型时需明确定义输入特征的Schema，确保监控系统能识别图像对应的特征字段（如将base64图像定义为字符串类型特征）。

3. 验证监控正常工作的步骤（基于两个存储桶的日志） #

步骤1：确认预测数据已被采集（检查predict桶） #

• 进入云存储控制台的predict桶，查看是否存在predictions/前缀的文件夹，里面是否有以时间戳命名的JSON/CSV文件。
• 打开文件，确认包含每次请求的输入（base64图像）和输出（分类结果）数据，说明预测数据已被监控系统捕获。

步骤2：触发监控分析并检查analysis桶 #

• 在Vertex AI控制台的模型监控页面，找到对应任务手动触发一次分析（无需等待定时调度）。
• 等待5-10分钟后，进入analysis桶，查看是否生成drift/前缀的文件夹，里面是否包含漂移分析结果文件（如drift_metrics.json）。
• 打开结果文件，确认存在特征漂移计算指标（如PSI值），即使所有请求都是相同图像，PSI值应为0，说明分析流程正常运行。

步骤3：验证存储桶权限 #

• 检查两个存储桶的权限设置，确认Vertex AI监控服务账号（格式通常为service-<项目号>@gcp-sa-aiplatform.iam.gserviceaccount.com）拥有「存储对象创建者」和「存储对象查看者」权限。

步骤4：测试漂移场景 #

• 发送1000张与之前完全不同的图像请求（不同类别、风格均可）。
• 手动触发监控分析，查看analysis桶中的漂移结果，确认PSI值大于预设阈值（若配置告警），或指标显示存在明显漂移，验证系统能正常检测数据分布变化。

步骤5：排查任务运行日志 #

• 在Vertex AI控制台的监控任务详情页，查看任务运行日志，确认无权限错误、数据解析错误等报错信息。

内容的提问来源于stack exchange，提问作者RajeshM