## 问题现象容器内使用 RDMA 设备完成多机通信，运行过程中 NCCL 运行时报错，ibv_create_cq allocate memory 失败。 ## 环境配置 * 节点机型：ecs.hpcpni3ln.45xlarge * NCCL 版本：2.18.5 ## 原因分析若确定是“ulimit \-l 限制默认为 64K，benchmark 场景下 memlock 内存不足”导致，可参考以下解决方案处理。 ## 解决方案 * **存量节点可参考以下步骤解决**： 1. 登录节点并执行 `vi /lib/systemd/system/containerd.service` 命令，新增 LimitMEMLOCK=infinity 配置。 2. 执行 `sudo systemctl daemon-reload && sudo systemctl restart containerd` 命令，加载配置并重启 containerd 服务。 * **新增节点可参考以下步骤解决**：编辑 VKE 节点池，在高级设置中添加如下部署执行脚本，替换并重启 containerd 配置。 :::warning LimitNOFILE 参数的值需要根据实际情况，从 `/lib/systemd/system/containerd.service` 中获取。 ::: ```Bash sed -i '/LimitNOFILE=10xxx76/a LimitMEMLOCK=infinity\nLimitSTACK=infinity' /lib/systemd/system/containerd.service && systemctl daemon-reload && systemctl restart containerd ``` ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_75158f7071c81e4b967639c1e6733bcd.png)

容器服务