寻求从Azure Blob Storage导入日志至Loki的低成本替代方案

一、替代Java Azure Functions的直接导入方案 #

针对Fluentd/Fluentbit/Logstash，有以下无需自定义代码的方案：

• Fluentd：使用社区维护的azure-storage-blob输入插件，可直接连接Azure存储账户的Blob容器，读取日志文件后通过loki输出插件转发。配置示例大致如下：

  <source>
    @type azure_storage_blob
    storage_account_name "your-storage-account"
    storage_access_key "your-access-key"
    container_name "logs-container"
    path_prefix "logs/"
    tag azure.logs
  </source>
  
  <match azure.logs>
    @type loki
    url "http://your-loki-instance:3100/loki/api/v1/push"
    <label>
      job "azure-storage-logs"
    </label>
  </match>
  

• Fluent Bit：目前无官方Azure Blob输入插件，可通过两种方式变通：
  • 用exec输入插件配合Azure CLI的az storage blob download-batch命令，定期拉取日志文件到本地，再通过Fluent Bit解析后发送到Loki；
  • 使用社区开源的第三方Azure Blob输入插件（基于Go开发），直接集成到Fluent Bit中。
• Logstash：使用社区的azure_blob_storage输入插件，支持轮询Blob容器中的日志文件，处理完成后通过loki输出插件推送到Loki。

二、Azure Event Hub vs 存储账户的选型对比（成本优先） #

• 存储账户优势：成本极低，尤其是选用归档/冷存储层级时，适合非实时、批量归档的日志场景。缺点是日志处理存在延迟，需要依赖轮询或事件触发机制（如Azure Logic Apps替代Java Functions）来同步到Loki。
• Event Hub优势：支持流式实时处理，延迟低，适合需要实时监控的日志场景。但成本远高于存储账户，按吞吐量和消息量计费，大流量下成本会显著上升。
• 选型建议：如果你的日志不需要实时分析，仅用于批量回溯或离线分析，优先选存储账户；若需实时监控告警，再考虑Event Hub。另外，可用Azure Logic Apps替代Java Functions，无需代码即可实现Blob事件触发后的日志转发，成本更低。

内容的提问来源于stack exchange，提问作者kloudkid