Azure Databricks湖仓监控配置及时间异常问题求助

一、model_id_col选择MAP类型报错的原因与替代方案 #

报错原因 #

Databricks湖仓监控的model_id_col要求是可分组的原子数据类型（如字符串、整数、日期等），MAP属于复杂嵌套类型，无法直接用于监控指标的分组聚合计算，因此触发报错。

替代方案 #

除了创建视图，更直接的方式是在推理表上新增计算列，从request_metadata中提取关键信息组合成原子类型的model标识：

ALTER TABLE winequality_payload
ADD COLUMN model_id STRING GENERATED ALWAYS AS (concat(request_metadata['model_name'], '_', request_metadata['model_version']))

新增后，配置监控时选择model_id作为model_id_col即可，无需依赖视图，稳定性更高。

二、仪表盘无数据与时间异常问题分析 #

核心原因 #

1. timestamp_ms时间戳错误：你提到的1738620594270是毫秒级时间戳，转换后为2024-12-31，但实际操作时间是2025-02-03，说明推理表的timestamp_ms字段没有正确记录请求发生的实际时间，可能是Endpoint配置或请求发送时的时间生成逻辑有误。
2. profile_metrics时间窗口解析错误：window列显示为+057064-08-22，是因为监控任务将毫秒级的timestamp_ms误当作秒级时间戳处理，导致时间被放大1000倍，计算出的窗口时间进入遥远的未来，监控任务无法匹配到对应时间范围的数据，因此仪表盘无数据。

修复步骤 #

• 验证并修正timestamp_ms：检查Endpoint的推理日志或请求发送代码，确认timestamp_ms是否正确记录了请求的实际时间（毫秒级）。如果是代码生成问题，调整时间戳生成逻辑；如果是Endpoint自动生成错误，重启Endpoint或提交工单排查。
• 重新配置监控的时间字段：在监控配置中，确保选择timestamp_ms作为时间字段时，明确指定其单位为毫秒。如果监控任务默认按秒解析，需要手动调整时间转换逻辑，比如在视图中新增正确的时间列：

CREATE OR REPLACE VIEW winequality_monitoring_view AS
SELECT 
  *,
  from_unixtime(timestamp_ms / 1000) AS request_time,
  concat(request_metadata['model_name'], '_', request_metadata['model_version']) AS model_id
FROM winequality_payload

然后配置监控时选择request_time作为时间字段，model_id作为model_id_col，重新触发监控任务运行。

内容的提问来源于stack exchange，提问作者Gopinath Rajee