从Secret加载的Pod环境变量未更新至最新值的原因排查

核心原因：节点kubelet的本地Secret缓存未更新 #

当你更新了Secret MYSECRET 的值后，原节点上的kubelet仍缓存着旧的Secret数据。StatefulSet重建Pod时，默认会优先调度回原节点（除非配置了特殊调度策略），此时kubelet创建容器时会直接读取本地缓存的旧Secret文件注入环境变量，所以$PASSWORD还是旧值。而驱逐节点后，新节点的kubelet会从API Server重新拉取最新的Secret，自然能拿到正确的456。

节点级Secret缓存的机制说明 #

kubelet确实存在节点级的Secret缓存机制，具体逻辑如下：

• kubelet通过API Server的Watch机制监听Secret的变更事件，一旦Secret更新，会立即同步本地缓存的Secret文件。
• 如果Watch连接中断（比如网络波动），kubelet会通过周期性Relist（默认同步周期1分钟）重新从API Server拉取最新的Secret数据，更新本地缓存。
• 缓存的Secret文件存储在节点的/var/lib/kubelet/pods/<PodID>/volumes/kubernetes.io~secret/<SecretName>/目录下，Pod创建时会读取这些文件注入环境变量。

可能触发缓存未更新的场景 #

• Watch事件丢失：API Server到kubelet的Watch连接异常，导致Secret更新事件未被kubelet接收。
• Relist周期过长：如果kubelet的--sync-frequency参数被调大（默认1分钟），缓存更新的间隔会变长，重建Pod时可能还没完成同步。
• Secret更新操作异常：比如更新Secret时未正确修改resourceVersion（正常kubectl edit/kubectl apply会自动更新，这种情况较少见），导致kubelet认为Secret未变更。

内容的提问来源于stack exchange，提问作者Fran