EKS集群部署Loki遇CrashLoopBackoff问题求助

一、先搞定Loki memberlist启动失败的问题 #

memberlist是Loki分布式模式下的gossip通信组件，启动失败大概率是集群内网络不通或者配置不匹配：

• EKS节点安全组默认可能没开放memberlist需要的TCP/UDP 7946端口，得先把这个端口的集群内通信权限加上；
• 如果是测试用单实例，完全可以禁用memberlist，改用内存存储绕开这个问题。

修复配置示例 #

1. 分布式生产环境（开启memberlist）

部署时覆盖memberlist的服务发现配置：

helm install loki grafana/loki --namespace monitoring \
  --set loki.config.memberlist.join_members=loki-gossip-ring.monitoring.svc.cluster.local:7946 \
  --set loki.config.memberlist.advertise_addr="$(POD_IP)" \
  --set loki.commonConfig.replication_factor=3

2. 测试用单实例（禁用memberlist）

直接用内存存储替代分布式KV：

helm install loki grafana/loki --namespace monitoring \
  --set loki.commonConfig.replication_factor=1 \
  --set loki.storage.type=filesystem \
  --set loki.config.ingester.lifecycler.ring.kvstore.store=inmemory

二、从头到尾的完整部署流程 #

1. 加官方Helm仓库 #

旧的https://grafana.github.io/loki/charts已经废弃，统一用Grafana官方合并后的仓库：

helm repo add grafana https://grafana.github.io/helm-charts
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

2. 创建监控专用命名空间 #

kubectl create namespace monitoring

3. 部署Loki（选上面适合你的配置） #

直接用上面的单实例或分布式部署命令就行。

4. 部署Promtail（采集集群日志） #

helm install promtail grafana/promtail --namespace monitoring \
  --set config.lokiAddress=http://loki.monitoring.svc.cluster.local:3100/loki/api/v1/push

5. 部署Prometheus Stack（含Prometheus、Grafana、Alertmanager） #

用kube-prometheus-stack一键部署整套监控：

helm install prometheus-stack prometheus-community/kube-prometheus-stack --namespace monitoring \
  --set grafana.enabled=true \
  --set prometheus.enabled=true \
  --set alertmanager.enabled=true

6. 把Loki接入Grafana #

• 先端口转发Grafana服务：

kubectl port-forward svc/prometheus-stack-grafana 3000:80 --namespace monitoring

• 访问http://localhost:3000，默认账号是admin，密码用这个命令查：

kubectl get secret prometheus-stack-grafana --namespace monitoring -o jsonpath="{.data.admin-password}" | base64 --decode

• 进Grafana后添加Loki数据源，URL填http://loki.monitoring.svc.cluster.local:3100，保存就能用了。

三、踩坑排查指南 #

• 要是还CrashLoopBackoff，先看Pod日志定位具体问题：

kubectl logs -n monitoring <你的Loki Pod名称> -f

• 测试网络连通性：在监控命名空间跑个busybox，ping gossip服务看能不能通：

kubectl run -it --rm busybox --image=busybox:1.28 --namespace monitoring -- ping loki-gossip-ring.monitoring.svc.cluster.local

• 再检查EKS节点安全组，入站规则必须允许集群内的TCP/UDP 7946端口通信。

内容的提问来源于stack exchange，提问作者saranyat