如何在EKS多Pod环境中按时间线查看自定义日志文件

1. 临时快速查看：kubectl批量提取+排序 #

如果只是临时排查问题，无需额外工具，直接用kubectl结合shell命令就能搞定。核心思路是遍历所有目标Pod，提取日志并打上Pod标识，再统一按时间排序。

假设你的Pod标签是app=your-server，日志文件路径是/app/log.txt，且日志每行开头是ISO8601格式的时间戳（比如2024-05-20T12:34:56Z ...），可以用这条命令：

kubectl get pods -l app=your-server -o name | while read pod; do
  kubectl exec $pod -- cat /app/log.txt | sed "s/^/[$(basename $pod)] /"
done | sort

• sed用来给每行日志加上Pod名称前缀，方便区分来源
• sort会自动按开头的时间戳排序，实现时间线聚合
  如果日志时间不在开头，需要调整sort的字段，比如时间在第3列就用sort -k3,3

2. 长期监控：CloudWatch日志集成 #

EKS和AWS CloudWatch天然集成，适合长期的日志聚合与分析：

• Sidecar转发方案：给你的Deployment添加一个fluent-bit Sidecar容器，配置它采集Pod内的log.txt，并发送到CloudWatch Logs。比如在容器配置里挂载Pod的日志目录，然后在fluent-bit的配置文件中设置输入路径为/path/to/log.txt，输出为CloudWatch。
• 节点级采集：给EKS节点安装CloudWatch Agent，配置它采集所有Pod内的指定日志文件，这种方式不需要修改Deployment，适合批量管理。
  配置完成后，登录CloudWatch控制台，找到对应的日志组，就能看到所有Pod的日志按时间线自动聚合，还能通过过滤规则筛选特定Pod、关键字的日志。

3. 自建日志系统：Loki+Grafana #

如果需要更灵活的自定义分析，推荐用Loki（轻量日志聚合系统）+Grafana：

• 在EKS中部署Loki和Grafana（用Helm一键部署最方便：helm install loki grafana/loki、helm install grafana grafana/grafana）
• 部署Promtail（Loki的采集器），配置它扫描Pod内的log.txt文件，同时带上Pod的标签（比如app名、Pod ID）作为日志标签
• 登录Grafana，添加Loki数据源，创建日志面板，就能按时间线查看所有Pod的聚合日志，还能通过标签快速过滤不同Pod的日志，支持日志搜索、导出等功能

内容的提问来源于stack exchange，提问作者Origin