如何通过Grafana Loki和Promtail抓取Azure存储账户实时写入的诊断日志？

核心原因 #

Azure存储的诊断日志并非在单个Blob里追加内容，而是每次更新都会生成新的Blob（或分段更新现有Blob），Promtail默认的文件监听逻辑是针对本地文件系统的追加模式，所以会漏掉大部分实时写入的内容。

可行解决方案 #

• 调整Promtail的Azure Blob抓取配置
  两个关键参数要配置：

  1. 缩短poll_interval，让Promtail更频繁检查新Blob，比如设为10秒：

     scrape_configs:
       - job_name: azure-storage-logs
         azure_blob:
           account_name: "your-storage-account"
           container_name: "your-log-container"
           poll_interval: 10s
           # 其他已有配置（比如account_key、filter等）
     

  2. 开启tail_files参数，让Promtail跟踪同前缀的Blob更新，确保增量内容被抓取：

     azure_blob:
       tail_files: true
       # 其他配置
     

• 用Azure Event Grid实现触发式抓取
  给存储账户配置Event Grid，当有新Blob创建或Blob内容更新时，发送事件到一个自定义服务，由这个服务触发Promtail立即抓取对应Blob。这种方式不用依赖轮询，实时性拉满，适合对日志延迟敏感的场景。

• 调整Azure诊断日志的生成规则
  把日志的滚动生成间隔调小（比如从1小时改成15分钟），让每个Blob的内容量更小，即使被替换也不会丢失太多内容；同时禁用日志的追加模式，强制生成独立的小Blob，降低抓取遗漏的概率。

• 通过Azure Monitor中转
  先把存储诊断日志导入Azure Monitor的Log Analytics工作区，然后用Loki的azure_monitor数据源直接从Log Analytics拉取日志。这种方式完全适配Azure的日志生态，稳定性和实时性都有保障，唯一的缺点是多了一层依赖。

内容的提问来源于stack exchange，提问作者kloudkid