如何阻止GCC重排x86栈帧指针保存/初始化指令？

问题背景 #

在使用火焰图（flamegraph）进行性能分析时，即便所有代码库编译时添加了-fno-omit-frame-pointer标志，调用栈仍偶尔断裂。检查GCC生成的二进制文件后发现，GCC会重排x86栈帧指针的保存/初始化指令（即push %rbp; mov %rsp, %rbp），甚至将其放在某些分支的ret指令之后。

以如下函数为例：

int flextcp_fd_slookup(int fd, struct socket **ps)
{
  struct socket *s;

  if (fd >= MAXSOCK || fhs[fd].type != FH_SOCKET) {
    errno = EBADF;
    return -1;
  }

  uint32_t lock_val = 1;
  s = fhs[fd].data.s;

  asm volatile (
      "1:\n"
      "xchg %[locked], %[lv]\n"
      "test %[lv], %[lv]\n"
      "jz 3f\n"
      "2:\n"
      "pause\n"
      "cmpl $0, %[locked]\n"
      "jnz 2b\n"
      "jmp 1b\n"
      "3:\n"
      : [locked] "=m" (s->sp_lock), [lv] "=q" (lock_val)
      : "[lv]" (lock_val)
      : "memory");

  *ps = s;
  return 0;
}

CMake Debug配置下，栈帧指令正常位于函数入口：

0000000000007c73 <flextcp_fd_slookup>:
    7c73:   f3 0f 1e fa             endbr64 
    7c77:   55                      push   %rbp
    7c78:   48 89 e5                mov    %rsp,%rbp
    ...

但CMake Release配置下，栈帧指令被移到了错误分支的末尾：

0000000000007d80 <flextcp_fd_slookup>:
    7d80:   f3 0f 1e fa             endbr64 
    ...
    7dc7:   c3                      retq   
    ...
    7dd0:   55                      push   %rbp
    7dd1:   48 89 e5                mov    %rsp,%rbp
    ...

这种情况会导致perf在栈帧指针正确设置前采样函数内指令时，生成不完整且误导性的调用栈。

解决方法 #

以下是几种可行的方案，按推荐优先级排序：

1. 添加-fno-optimize-sibling-calls编译选项 #

该选项禁用兄弟调用优化，而GCC将栈帧指令延迟到分支中通常和这种优化有关。添加后，GCC会更倾向于在函数入口处设置栈帧指针，避免指令重排导致的问题。

2. 给目标函数添加__attribute__((noinline))属性 #

如果不想全局调整优化策略，可以仅对出现问题的函数添加该属性，阻止GCC对其进行激进的内联或栈帧重排优化，强制在函数入口处设置栈帧指针：

__attribute__((noinline)) int flextcp_fd_slookup(int fd, struct socket **ps)
{
    // 原函数内容
}

3. 组合使用-fno-omit-frame-pointer -fno-optimize-sibling-calls #

对于需要稳定栈帧指针的性能分析场景，这个组合能有效约束GCC的优化行为，确保栈帧指针在函数入口处被正确初始化。

4. 升级GCC版本 #

较新的GCC版本（如GCC 12及以上）对-fno-omit-frame-pointer的处理逻辑更严谨，可能已经修复了这种栈帧指针重排的问题。如果环境允许，可尝试升级工具链。

5. 手动插入栈帧指令（备选） #

仅当上述方法都无效时，可在函数开头手动插入汇编指令强制设置栈帧，但这会降低代码可移植性，且容易与GCC优化冲突：

int flextcp_fd_slookup(int fd, struct socket **ps)
{
    asm volatile ("push %%rbp; mov %%rsp, %%rbp" ::: "rbp", "rsp");
    // 原函数内容
    // 函数末尾需手动添加`leave`或`pop %rbp`指令
}

内容的提问来源于stack exchange，提问作者minhuw