如何为DPDK与malloc配置大页?为何大页数量与配置不符?
DPDK Linux应用大页配置排查记录
业务场景
开发面向极致速度优化的DPDK Linux应用,需同时满足两类大页使用需求:
- 为DPDK框架预留专属大页资源
- 通过libhugetlbfs库为通用动态内存分配提供大页支撑
初始hugetlbfs挂载命令:
sudo mount -t hugetlbfs none /mnt/hugetlbfs
初始配置
在bootcmd中计划设置的大页参数:
hugepagesz=1G hugepages=20 hugepages=0 default_hugepagesz=1G
运行环境为CentOS 7,内核版本3.10.0-957.el7.x86_64,系统启动命令行实际读取内容(/proc/cmdline):
BOOT_IMAGE=/vmlinuz-3.10.0-957.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet hugepagesz=1G hugepages=20 default_hugepagesz=1G irqaffinity=0,1 isolcpus=4-23 nosoftlockup mce=ignore_ce idle=poll
上述启动参数为临时随意调整设置,启动后内存占用情况(free -m):
$ free -m total used free shared buff/cache available Mem: 47797 45041 2468 9 287 2393 Swap: 23999 0 23999
现象:总内存48GB,系统可用内存仅剩余2.468GB,大量内存被大页资源占用,需要缩减大页预留规模。
待解决的核心问题
大页数量与配置不匹配
启动参数仅配置20个1G大页,但系统统计的大页总数为43。对应/proc/meminfo输出:$ cat /proc/meminfo <snip> HugePages_Total: 43 HugePages_Free: 43 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 1048576 kB大页节点信息同步显示43个空闲1G大页:
$ cat /sys/kernel/mm/hugepages/hugepages-1048576kB/free_hugepages 43禁用透明大页后数量偏差仍存在
已在启动参数中追加transparent_hugepage=never,确认透明大页为禁用状态,更新后的启动命令行:$ cat /proc/cmdline BOOT_IMAGE=/vmlinuz-3.10.0-957.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet hugepagesz=1G hugepages=20 default_hugepagesz=1G irqaffinity=0,1 isolcpus=4-23 nosoftlockup mce=ignore_ce idle=poll transparent_hugepage=never透明大页状态校验结果:
$ cat /sys/kernel/mm/transparent_hugepage/enabled always madvise [never]校验后系统仍显示43个空闲大页,与配置的20个大页规模不符。
大页选型通用参考需求
需获取两类场景的通用配置参考:- DPDK适配的大页尺寸、数量基线
- 基于libhugetlbfs实现的malloc动态内存分配适配的大页尺寸、数量基线
已知配置强依赖应用实际需求,仅需通用场景下的参考值。
大页资源不足的检测方法
需明确如何判断当前大页预留规模无法支撑应用正常运行。
补充环境校验信息
当前hugetlbfs挂载状态(/proc/mounts过滤huge相关条目):
$ cat /proc/mounts | grep huge cgroup /sys/fs/cgroup/hugetlb cgroup rw,seclabel,nosuid,nodev,noexec,relatime,hugetlb 0 0 hugetlbfs /dev/hugepages hugetlbfs rw,seclabel,relatime 0 0
内容的提问来源于stack exchange,提问作者DavidA
相关产品推荐
相关产品推荐

