在AKS部署Python Docker镜像时遇exec格式错误求助

1. 先定位exec format error的核心原因 #

你碰到的exec /usr/bin/sh: exec format error，本质是容器镜像的CPU架构和AKS节点的架构不兼容。虽然你指定了linux/x86_64构建镜像，但可能存在以下疏漏：

• 先确认AKS节点的架构：执行kubectl get nodes -o wide，查看输出里的ARCH列，确认节点是amd64还是arm64。如果你的AKS节点是ARM架构（比如选了Azure的Dpsv5系列VM），那amd64的镜像肯定无法运行。
• 检查镜像的实际架构：用docker manifest inspect <my username>/ingest查看镜像清单，确认只有linux/amd64的条目，没有混入arm架构的层。有时候buildx配置不当，会生成多架构镜像，AKS节点可能拉取了不匹配的版本。

2. K8s中指定Pod架构/操作系统的方式及默认规则 #

默认行为 #

K8s会自动匹配镜像的OS/ARCH和节点的OS/ARCH：

• 节点默认带有标签：kubernetes.io/os=linux（或windows）、kubernetes.io/arch=amd64（或arm64、arm等）。
• 调度时，K8s会根据这些标签，把Pod分配到操作系统和架构都匹配的节点上。如果没有匹配节点，Pod会处于Pending状态；如果拉取了不匹配架构的镜像（比如多架构镜像选错版本），就会出现你遇到的执行错误。

手动指定的方法 #

方法一：用nodeSelector强制指定

在Deployment的Pod模板里添加nodeSelector，直接限定Pod只能运行在指定架构的节点上：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ingest-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: ingest
  template:
    metadata:
      labels:
        app: ingest
    spec:
      nodeSelector:
        kubernetes.io/arch: amd64  # 强制选择amd64架构节点
        kubernetes.io/os: linux    # 强制选择Linux系统节点
      containers:
      - name: ingest
        image: <my username>/ingest:latest

方法二：用节点亲和性实现灵活调度

如果需要更灵活的规则（比如优先选amd64节点，没有的话再用arm64），可以使用节点亲和性：

spec:
  template:
    spec:
      affinity:
        nodeAffinity:
          # 必须满足的条件：只能选择amd64节点
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - amd64
          # 优先条件：优先选择amd64节点（权重100）
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            preference:
              matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values:
                - amd64
      containers:
      - name: ingest
        image: <my username>/ingest:latest

方法三：构建多架构镜像（长期推荐）

如果需要同时支持amd64和arm64节点，直接用buildx构建多架构镜像，K8s会自动拉取匹配节点架构的版本：

docker buildx build --platform linux/amd64,linux/arm64 -t <my username>/ingest --push .

（注意：镜像仓库需支持多架构，比如Docker Hub、Azure容器注册表都可满足）

3. 额外排查步骤 #

• 确认AKS节点池的VM型号：用Azure CLI命令az aks nodepool show --resource-group <你的资源组名> --cluster-name <AKS集群名> --name <节点池名> --query 'vmSize'，从VM型号判断架构（比如Standard_D2s_v5是amd64，Standard_D2ps_v5是arm64）。
• 清理缓存重新构建：避免旧缓存影响，执行docker buildx build --platform linux/x86_64 --no-cache -t <my username>/ingest . && docker push <my username>/ingest重新推送镜像。

内容的提问来源于stack exchange，提问作者Sanjeev