K8s初始化容器Dind场景下add-apt-repository失败排查

针对你在K8s初始化容器用Docker-in-Docker（DinD）构建nvidia/cuda:11.7.1-cudnn8-devel-ubuntu22.04镜像时，执行RUN add-apt-repository ppa:flexiondotorg/nvtop遇到的网络错误，以下是可行的配置方案：

1. 确保DinD容器的基础特权与网络依赖配置 #

DinD运行必须依赖特权模式和网络设备挂载，先检查你的初始化容器Pod配置是否完整：

apiVersion: v1
kind: Pod
metadata:
  name: dind-build-pod
spec:
  initContainers:
  - name: dind-builder
    image: docker:dind
    command: ["dockerd-entrypoint.sh"]
    securityContext:
      privileged: true  # 强制开启特权模式，DinD运行必备
    volumeMounts:
    - name: docker-sock
      mountPath: /var/run/docker.sock
    - name: dev-net-tun
      mountPath: /dev/net/tun
  volumes:
  - name: docker-sock
    emptyDir: {}
  - name: dev-net-tun
    hostPath:
      path: /dev/net/tun
      type: CharDevice

未挂载/dev/net/tun会导致DinD内部网络初始化失败，直接触发地址分配错误。

2. 修复DinD内部DNS解析问题 #

默认DinD的DNS配置可能无法正确解析集群外域名，构建时可指定K8s集群内置DNS服务器：

docker build --dns=10.96.0.10 .  # 10.96.0.10是K8s默认kube-dns的IP，需根据你的集群实际值调整

或者直接修改Dockerfile，跳过ppa源的网络依赖，改用手动添加源的方式：

RUN apt update && apt install -y wget gnupg
RUN wget -qO - https://ppa.launchpadcontent.net/flexiondotorg/nvtop/ubuntu/KEY.gpg | apt-key add -
RUN echo "deb http://ppa.launchpad.net/flexiondotorg/nvtop/ubuntu jammy main" >> /etc/apt/sources.list.d/nvtop.list
RUN apt update && apt install -y nvtop

3. 调整DinD构建的网络模式并配合K8s Pod配置 #

如果要使用--network=host，需在Pod级别开启主机网络，同时确保节点能访问ppa地址：

spec:
  hostNetwork: true  # 让Pod共享主机网络栈
  initContainers:
  - name: dind-builder
    image: docker:dind
    securityContext:
      privileged: true
    command: ["sh", "-c", "dockerd & sleep 5 && docker build --network=host -t my-target-image ."]

另外需检查节点防火墙是否允许出站访问ppa.launchpad.net的443端口，或添加集群网络策略放行：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-ppa-outbound
spec:
  podSelector:
    matchLabels:
      app: dind-builder
  policyTypes:
  - Egress
  egress:
  - to:
    - ipBlock:
        cidr: 91.189.95.85/32  # 提前解析ppa.launchpad.net的IP，按需更新
    ports:
    - protocol: TCP
      port: 443

4. 替代方案：挂载主机Docker Socket绕过DinD #

如果集群安全策略允许，直接复用主机的Docker daemon构建，彻底避免DinD的网络复杂度：

initContainers:
- name: docker-builder
  image: docker:latest
  volumeMounts:
  - name: docker-sock
    mountPath: /var/run/docker.sock
  command: ["sh", "-c", "docker build -t my-target-image ."]
volumes:
- name: docker-sock
  hostPath:
    path: /var/run/docker.sock
    type: Socket

此方法无需特权模式（除非主机Docker配置有特殊要求），网络环境与本地构建完全一致。

5. 排查步骤：先定位网络问题根源 #

在初始化容器中添加测试命令，确认是DNS解析还是连接权限问题：

initContainers:
- name: dind-builder
  image: docker:dind
  securityContext:
    privileged: true
  command: ["sh", "-c", "dockerd & sleep 5 && docker run --rm busybox nslookup ppa.launchpad.net && docker run --rm busybox curl -I https://ppa.launchpad.net"]

若nslookup失败则是DNS配置问题，curl失败则是连接/防火墙限制，针对性修复即可。

内容的提问来源于stack exchange，提问作者Loc Truong