如何阻止Deployment中的Pod重启以排查日志？

下面是几个实用的解决思路，针对你无法修改Deployment的restartPolicy的情况：

• 启用日志持久化挂载
  将应用的日志目录挂载到持久化存储（比如PVC、HostPath），这样Pod被删除后，日志文件会保留在存储卷中，你可以通过其他Pod挂载同个存储卷或者直接访问存储后端查看日志。示例Deployment配置片段：

  spec:
    template:
      spec:
        containers:
        - name: your-app-container
          image: your-app-image
          volumeMounts:
          - name: app-log-volume
            mountPath: /var/log/your-app # 替换为你的应用实际日志路径
        volumes:
        - name: app-log-volume
          persistentVolumeClaim:
            claimName: your-log-pvc # 提前创建对应的PVC
  

• 部署集群日志聚合系统
  搭建ELK、Loki+Grafana这类日志聚合工具，它们会实时采集所有Pod的日志并集中存储。不管Pod是否被删除，都能在聚合平台里检索、查看历史日志，这也是生产环境的标准做法。

• 脚本捕获Pod终止前的日志
  写个简单的监控脚本，定期对比运行中的Pod列表，发现Pod消失时立即导出它的日志到本地。示例shell脚本：

  #!/bin/bash
  DEPLOY_NAME="your-deployment-name"
  NAMESPACE="default"
  
  while true; do
    # 记录当前运行的Pod
    prev_pods=$(kubectl get pods -n $NAMESPACE -l app=$DEPLOY_NAME -o jsonpath='{.items[*].metadata.name}')
    sleep 15
    # 获取最新运行的Pod
    curr_pods=$(kubectl get pods -n $NAMESPACE -l app=$DEPLOY_NAME -o jsonpath='{.items[*].metadata.name}')
    
    # 找出已终止的Pod并导出日志
    for pod in $prev_pods; do
      if ! echo "$curr_pods" | grep -q "$pod"; then
        kubectl logs -n $NAMESPACE $pod > "${pod}_$(date +%Y%m%d_%H%M%S).log"
        echo "导出已终止Pod $pod 的日志到本地文件"
      fi
    done
  done
  

• 利用Kubernetes的日志保留机制
  首先，尝试查看还未被垃圾回收的终止Pod日志，使用--previous参数可以查看容器上次运行的日志：

  kubectl logs <terminated-pod-name> --previous
  

  如果终止Pod很快被回收，可以调整kubelet的minimum-container-ttl-duration参数，延长终止容器的保留时间；同时可以给Pod设置更长的terminationGracePeriodSeconds，让系统有足够时间在Pod终止前完成日志采集。

内容的提问来源于stack exchange，提问作者Shobhit Kumar