如何将Stackdriver日志迁移至Grafana Loki？实施方案咨询

是否需要日志采集工具？ #

是的，必须部署日志采集工具才能将Kubernetes集群的日志发送到Loki。Stackdriver是GKE默认集成的日志系统，但Loki无原生GKE集成能力，需要通过采集工具打通日志流向。

迁移步骤（分历史日志迁移+实时日志采集两阶段） #

1. 历史日志从Stackdriver导出到Loki #

Stackdriver历史日志需先导出至中间存储，再导入Loki：

• 第一步：将Stackdriver日志导出到GCS
  在Stackdriver控制台创建导出Sink，选择目标为GCS Bucket，可通过过滤规则选择需要迁移的日志（如按命名空间、日志类型筛选）。
• 第二步：将GCS日志导入Loki
  使用Loki的logcli工具或自定义脚本读取GCS中的JSON格式日志，转换为Loki兼容格式（每行日志需包含labels和line字段），再通过Loki API写入：

  # 示例：用curl发送单条日志到Loki API
  curl -XPOST -H "Content-Type: application/json" http://<loki-service-ip>:3100/loki/api/v1/push --data '{
    "streams": [
      {
        "stream": {
          "namespace": "default",
          "pod": "my-demo-pod"
        },
        "values": [
          ["<unix-timestamp-nano>", "sample log content from Stackdriver"]
        ]
      }
    ]
  }'
  

  注意：需将Stackdriver日志中的时间戳转换为Unix纳秒格式，同时提取命名空间、Pod名称、容器名等作为Loki标签，方便后续查询。

2. 实时日志采集到Loki #

部署采集工具后，集群新产生的日志会直接流入Loki，以下是工具选型建议：

日志采集工具推荐 #

1. Promtail（官方首选） #

Promtail是Loki官方配套的日志采集工具，专为Kubernetes环境优化：

• 部署方式：通过Helm一键安装，默认自动发现Kubernetes资源并添加标签：

  helm repo add grafana https://grafana.github.io/helm-charts
  helm repo update
  helm install promtail grafana/promtail --set config.lokiAddress=http://<loki-service-name>:3100/loki/api/v1/push
  

• 优势：原生适配Loki标签系统，轻量低耗，与Loki、Grafana集成度高，Helm默认配置已适配GKE节点日志路径（/var/log/containers）。

2. Fluent Bit（轻量替代） #

若集群资源紧张，可选择Fluent Bit，通过loki输出插件对接：
配置示例（Fluent Bit的output.conf片段）：

[OUTPUT]
    Name loki
    Match *
    Host <loki-service-name>
    Port 3100
    Labels {"namespace": "$kubernetes_namespace", "pod": "$kubernetes_pod_name"}
    RemoveKeys kubernetes

3. Fluentd（复杂场景适配） #

如果已有Fluentd日志栈，可通过fluent-plugin-grafana-loki插件实现对接，适合需要复杂日志过滤、转换的场景。

迁移过渡注意事项 #

• 先部署Loki、Grafana和采集工具，验证实时日志流入、查询、告警功能正常后，再启动历史日志迁移。
• 分批迁移历史日志，避免一次性导入大量日志导致Loki性能波动。
• 保留Stackdriver服务一段时间，待Loki完全替代其功能后再关闭相关资源。

内容的提问来源于stack exchange，提问作者Wijxex