## 问题现象容器内使用 RDMA 设备完成多机通信，运行过程中 NCCL 运行时报错，ibv_create_cq allocate memory 失败。 ## 环境配置 * 节点机型：ecs.hpcpni3ln.45xlarge * NCCL 版本：2.18.5 ## 原因分析 ulimit \-l 限制默认为 64K，benchmark 场景下 memlock 内存不足。 ## 解决方案 * **存量节点可参考以下步骤解决**： 1. 登录节点并执行 `vi /lib/systemd/system/containerd.service` 命令，新增 LimitMEMLOCK=infinity 配置。 2. 执行 `sudo systemctl daemon-reload && sudo systemctl restart containerd` 命令，加载配置并重启 containerd 服务。 * **新增节点可参考以下步骤解决**：编辑 VKE 节点池，在高级设置中添加如下部署执行脚本，替换并重启 containerd 配置。 ```Bash sed -i'/LimitNOFILE=1048576/a LimitMEMLOCK=infinity' /lib/systemd/system/containerd.service && systemctl daemon-reload && systemctl restart containerd ``` ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_986c88a68abd37bb3915edc595fac017.png =544x)

容器服务