ADX集群执行create-materialized-view查询报缓存策略错误解决方法

根因 #

启用backfill=true参数创建物化视图时，ADX默认会校验回填覆盖的时间范围是否在源表、目标物化视图的热缓存策略覆盖区间内。如果回填的历史数据跨度超出热缓存范围，系统在触发回填任务时会直接抛出缓存策略相关错误，终止操作。
本次执行的创建命令回填起始时间为datetime(2022-06-29)，数据跨度长达数年，远超出ADX集群默认31天的热缓存周期，是触发报错的直接原因。

可选用修复方案 #

• 临时调整缓存策略适配回填范围
  先将源表、待创建物化视图的热缓存策略调整至覆盖全量回填时间范围，等待策略生效后再执行创建命令，回填完成后可改回原配置避免资源浪费。示例命令如下：

  // 调整源表Variables热缓存窗口，覆盖2022-06-29至今的全量数据
  .alter table Variables policy caching hot = 3650d
  // 预设置目标物化视图热缓存窗口，与源表对齐
  .alter materialized-view AssetTrend policy caching hot = 3650d
  

  缓存策略为异步生效，建议执行调整命令后等待5-10分钟，再重新运行原物化视图创建语句。回填完成、物化视图状态正常后，可根据实际业务热查询需求，将缓存策略调整为合理周期，避免过量占用热存储资源。
• 分窗口增量回填，无需调整全局缓存
  若不想临时放大热缓存占用集群资源，可拆分回填任务逐段执行：
  1. 先不带backfill=true参数创建物化视图，仅消费视图创建后新写入的增量数据：

     .create async ifnotexists materialized-view with (docString="Asset Trends") AssetTrend on table Variables
     {
     Variables 
     | where variable == 'severity' and model=='conditionMonitor'
     | summarize Normal = countif(value<=1), CheckSUM = countif(value>1 and 
       value<=250), OutofSpecification = countif(value>250 and value<=500),
        MaintenanceRequired = countif(value>500 and value<=750), 
        Failure = countif(value>750 and value<=1000) 
        by bin(timestamp,1s)
     }
     

  2. 确认物化视图正常运行后，以不超过当前热缓存周期的时间跨度为窗口（例如按30天拆分），从2022-06-29开始逐段执行历史回填，直到覆盖到视图创建的时间点即可。该方案对集群资源冲击最小，适合TB级以上大表的回填场景。
• 开启冷数据回填参数跳过缓存校验
  若当前ADX集群版本支持冷数据回填属性，可直接在原创建命令的with子句中增加allowColdDataBackfill=true参数，跳过缓存范围校验，允许任务直接读取冷存储中的历史数据完成回填。该方案无需调整缓存策略，操作最简便，但冷数据回填速度低于热数据，适合数据量较小的场景。

操作注意事项 #

• 调整热缓存周期前需确认集群热存储剩余容量，避免因热缓存占满触发集群可用性告警
• 大跨度历史回填建议安排在业务低峰期执行，避免占用过多计算资源影响线上查询业务
• 异步创建操作返回操作ID后，可通过.show operations命令跟踪执行进度，若任务失败可通过.show operation details <操作ID>获取详细错误日志

内容的提问来源于stack exchange，提问作者Ayushi Gupta