Kubernetes Pod使用Perf工具分析性能遇问题求助

背景配置 #

我正尝试在Kubernetes Pod上使用perf工具排查性能瓶颈，已在Pod所在宿主机配置了：

"kernel.kptr_restrict" = "0"
"kernel.perf_event_paranoid" = "0"

遇到的问题 #

• 执行perf record -a -F 99 -g -p <PID> --call-graph dwarf采集样本并生成火焰图时，目标C++进程的调用栈顶部出现???，仅能看到下方的系统调用，无法完整查看进程的CPU占用分解。
• 执行perf top时提示Failed to mmap with 1 (Operation not permitted)。

核心疑问 #

1. 运行perf top需要在Pod宿主机修改哪些权限配置？
2. 需在宿主机调整哪些额外设置，才能消除perf输出中的???，完整查看进程的函数调用栈？

（宿主机系统为Ubuntu）

更新内容及后续问题 #

将kernel.perf_event_paranoid设为"-1"后可正常运行perf top，但目标进程仅显示内存地址而非函数名，使用addr2line转换时提示addr2line: 'a.out': No such file。如何在Pod中实现地址到函数名的解析？是否可行？

另外，此前perf top的内存-函数映射问题已解决，原因是在Pod内不同容器运行perf，将perf移至目标进程所在容器后问题修复。

问题解答 #

1. 运行perf top的宿主机权限配置 #

将kernel.perf_event_paranoid内核参数设置为-1即可解决Failed to mmap的权限问题：

• 临时生效命令：

  echo -1 > /proc/sys/kernel/perf_event_paranoid
  

• 永久生效：编辑/etc/sysctl.conf，添加或修改：

  kernel.perf_event_paranoid = -1
  

  执行sysctl -p加载配置。

2. 消除调用栈???的宿主机及Pod设置 #

调用栈出现???的核心原因是无法获取进程的调试信息或内存映射权限，需做以下调整：

• 确保目标C++程序编译时带调试符号：编译阶段添加-g参数，不要使用-strip移除符号信息，这是解析函数栈的基础。
• 确认kernel.kptr_restrict=0生效：该参数控制内核符号的访问权限，不关闭会导致系统调用栈显示异常。
• 给Pod添加CAP_SYS_PTRACE能力：在Pod的YAML配置中添加：

  securityContext:
    capabilities:
      add: ["SYS_PTRACE"]
  

• 尝试切换call-graph选项：如果dwarf模式仍有问题，可改用fp（帧指针）模式，但需确保程序编译时未使用-fomit-frame-pointer优化选项。

3. Pod中实现地址到函数名的解析 #

完全可行，需满足以下条件：

• 目标程序必须保留调试符号：编译时加-g，若生产环境需要strip，需单独保留一份带符号的二进制文件用于调试。
• 在目标进程所在容器内操作：跨容器无法访问目标程序的二进制文件和调试信息，必须在同一个容器内运行perf和addr2line。
• 安装必要工具：在容器内安装binutils包（包含addr2line）：

  apt-get update && apt-get install -y binutils
  

• 指定正确的二进制路径：使用addr2line时传入程序在容器内的实际路径，例如：

  addr2line -e /app/my_service <内存地址>
  

内容的提问来源于stack exchange，提问作者Hadi