## 问题现象容器内使用 RDMA 设备完成多机通信，运行过程中 NCCL 运行时报如下错误： * ibv_create_cq allocate memory failed。 * ibvwrap.c:106 NCCL WARN Call to ibv_reg_mr failed。错误信息示例如下： ```Bash ibvwrap.c:106 NCCL WARN Call to ibv_reg_mr failed proxy.cc:1519 NCCL WARN [Proxy Service 5] Failed to execute operation Connect from rank 5, retcode 2 NCCL WARN socketProgress: Connection closed by remote peer master-0.svc.cluster.local<36167> ``` ## 环境配置 * 节点机型：ecs.hpcpni3ln.45xlarge * NCCL 版本：2.18.5 ## 原因分析若确定是“ulimit \-l 限制默认为 64K，benchmark 场景下 memlock 内存不足”导致，可参考以下解决方案处理。 ## 解决方案 ```mixin-react return ( **节点池**。 4. 单击目标节点池右侧 **操作** 列下的 **编辑**，在 **高级配置** 中添加如下部署执行脚本，替换并重启 containerd 配置。 :::warning 其中，\`LimitNOFILE\`参数的值需要根据实际情况，从\`/lib/systemd/system/containerd.service\`中获取。 ::: \`\`\`Bash sed -i '/LimitNOFILE=10xxx76/a LimitMEMLOCK=infinity\\nLimitSTACK=infinity' /lib/systemd/system/containerd.service && systemctl daemon-reload && systemctl restart containerd \`\`\` ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_75158f7071c81e4b967639c1e6733bcd.png =814x) `}> ); ```

容器服务