DigitalOcean K8s通过Helm部署Airflow偶发ErrImagePull错误如何解决

这个偶发的Pod启动失败本质是K8s节点拉取DigitalOcean私有容器Registry镜像时，偶发没有通过身份认证导致的，常见触发原因如下：

• 你使用的airflow-stable/airflow 7.16.0版本（对应Airflow 1.x系列）的KubernetesExecutor、KubernetesPodOperator存在偶发不传递全局配置的imagePullSecrets到动态生成的任务Pod的问题，导致Pod拉取私有镜像时没有携带认证信息。
• 你的K8s节点池没有配置全局的DigitalOcean容器Registry（DOCR）访问权限，新扩容出来的节点没有预存镜像拉取密钥，首次拉取私有镜像时就会认证失败。
• 你配置的镜像拉取Secret使用的是短期有效期的DOCR访问令牌，令牌刚好在Pod拉取镜像时过期，导致认证失败。
• DOCR的认证接口存在临时抖动/限流，导致正常的认证请求偶发被拒绝。

• 先验证镜像拉取Secret有效性：执行kubectl get secret <你的DOCR拉取Secret名称> -n airflow -o jsonpath='{.data.\.dockerconfigjson}' | base64 -d，查看输出的认证信息是否正确，是否设置了过期时间。
• 检查失败Pod的配置：执行kubectl get pod <失败的任务Pod名称> -n airflow -o yaml，查看spec.imagePullSecrets字段是否存在，且指向你配置的DOCR拉取Secret。如果该字段缺失，就是Airflow没有把Secret传递给任务Pod。
• 排查节点层面权限：找到失败Pod调度到的节点，登录节点后执行docker pull registry.digitalocean.com/[你的镜像路径]:[镜像版本]，如果手动拉取也报错，说明该节点没有全局DOCR拉取权限。
• 查看DOCR访问日志：在DigitalOcean控制台查看对应时间点的镜像拉取请求记录，确认是否有认证失败、限流的报错。

• 强制指定任务Pod的镜像拉取Secret：在Airflow的airflow.cfg配置文件的[kubernetes]段落添加配置image_pull_secrets = <你的DOCR拉取Secret名称>，或者每个KubernetesPodOperator实例化时传入参数image_pull_secrets=[k8s.V1LocalObjectReference(name="<你的DOCR拉取Secret名称>")]，确保所有任务Pod都会携带认证信息。
• 配置节点池全局DOCR访问权限：在DigitalOcean控制台的K8s集群设置中，给对应节点池绑定DOCR的只读访问权限，所有节点默认就拥有私有镜像拉取权限，不需要依赖Pod级别的Secret配置。
• 替换为长期有效的拉取Secret：使用DOCR的长期API密钥生成镜像拉取Secret，避免短期令牌过期导致的偶发问题。
• 调整镜像拉取策略：将任务Pod的imagePullPolicy设置为IfNotPresent，已经拉取到节点上的镜像不需要重复发起拉取请求，降低触发认证失败的概率。

内容的提问来源于stack exchange，提问作者Stephen L.