在K8s不同Pod中运行DPDK主备应用的堆分配错误排查

1. 节点大页配置验证 #

• 执行grep HugePages_ /proc/meminfo确认Minikube节点的大页预留情况，HugePages_Free必须大于0且满足应用需求。
• Docker Driver Minikube：启动时必须指定大页参数，示例：

  minikube start --docker-opt="--default-ulimit memlock=-1:-1" --extra-config=kubelet.hugepages-pagesize=2Mi --extra-config=kubelet.hugepages-count=1024
  

• None Driver Minikube：直接在主机配置大页：
  1. 编辑/etc/sysctl.conf添加vm.nr_hugepages=1024
  2. 执行sysctl -p生效
  3. 确保/dev/hugepages挂载权限为777或匹配Pod的UID/GID

2. Pod大页挂载与权限检查 #

• 确认YAML中正确挂载大页卷，两种方式二选一：

  # 方式1：使用K8s大页emptyDir
  volumes:
    - name: hugepages
      emptyDir:
        medium: HugePages
  # 方式2：直接挂载主机大页目录（None Driver推荐）
  volumes:
    - name: hugepages-host
      hostPath:
        path: /dev/hugepages
        type: Directory
  

• 必须配置Pod的SecurityContext：

  securityContext:
    privileged: true
    capabilities:
      add: ["IPC_LOCK"]
    resources:
      limits:
        hugepages-2Mi: 1Gi # 需与节点预留大页大小/数量匹配
        memory: 1Gi
  

• 进入Secondary Pod验证：
  • ls -ld /dev/hugepages：确认读写权限
  • grep memlock /proc/self/limits：确认Max locked memory为unlimited

3. DPDK EAL参数一致性检查 #

• Secondary进程必须指定：
  • --proc-type=secondary
  • 与Primary进程完全一致的--huge-dir（指向Pod内大页挂载路径，如--huge-dir=/dev/hugepages）
  • --socket-mem参数不能超过节点剩余大页，且与Primary配置兼容

4. IPC命名空间共享配置 #

• Minikube Docker Driver默认隔离Pod IPC空间，需在YAML中配置：

  spec:
    hostIPC: true # 特权场景下直接共享主机IPC
    # 或同Deployment内共享进程空间：shareProcessNamespace: true
  

• None Driver下，Primary和Secondary Pod必须同时配置hostIPC: true，才能共享主机IPC命名空间访问DPDK共享内存

5. 日志与共享内存排查 #

• 给Secondary进程添加--log-level=eal:debug参数，获取详细EAL错误日志，定位是大页不足、权限问题还是共享内存不可访问
• 进入Primary Pod执行ipcs -m，查看DPDK创建的共享内存段；Secondary Pod若共享IPC，应能看到相同的段

6. 其他排查点 #

• 检查Minikube Kubelet配置，确保未限制大页使用
• 避免Primary/Secondary Pod的CPU亲和性冲突，DPDK进程需绑定到空闲核心，CPU掩码不要重叠

内容的提问来源于stack exchange，提问作者Kira