x86_64/GCC Linux自定义系统调用Wrapper优化构建崩溃问题

我正在为x86_64架构的GCC编译器实现Linux系统调用的自定义封装函数。用-O0编译或者添加__attribute__((noinline))属性时代码能正常运行，但开启内联的优化构建会触发段错误。因为只有优化构建出问题，调试器作用有限，而且系统调用后一些不该变的变量被修改了，推测是汇编代码的设置有未定义行为。相关代码如下：

auto __attribute__ ((noinline)) systemcall(int id, auto rdi, auto rsi, auto rdx, auto _r10, auto _r8, auto _r9) {
    int64_t err_code = 0;
    register auto r10 asm("r10") = _r10;
    register auto r8 asm("r8") = _r8;
    register auto r9 asm("r9") = _r9;
    asm volatile (
        "syscall"
        : "=a" (err_code)
        : "a" (id), "D" (rdi), "S" (rsi), "d" (rdx), "r"(r10), "r"(r8), "r"(r9)
        : "memory"
    );
    return err_code;
}

问题原因分析 #

• 寄存器破坏未声明：syscall指令执行时，除了rax会存储返回值，还会自动将rcx设置为返回地址、r11设置为RFLAGS的副本。但原代码的asm破坏列表里没有声明这两个寄存器，GCC优化时会默认它们的值保持不变，可能把需要保留的变量存在这些寄存器中，导致系统调用后变量被意外篡改，引发段错误。
• 寄存器约束错误：原代码用通用寄存器约束"r"绑定r10、r8、r9，但x86_64 Linux系统调用要求这三个参数必须对应特定寄存器。GCC优化时可能把参数放到其他寄存器，导致系统调用参数传递错误。

修复后的代码 #

auto systemcall(int id, auto rdi, auto rsi, auto rdx, auto _r10, auto _r8, auto _r9) {
    int64_t err_code = 0;
    asm volatile (
        "syscall"
        : "=a" (err_code)
        : "a" (id), "D" (rdi), "S" (rsi), "d" (rdx), "r10"(_r10), "r8"(_r8), "r9"(_r9)
        : "rcx", "r11", "memory"  // 显式声明syscall会修改的寄存器
    );
    return err_code;
}

修复说明 #

• 移除了不必要的register变量声明，直接通过asm输入约束将参数绑定到指定寄存器，更符合GCC的约束机制，优化时不会出现参数错位。
• 在破坏列表中添加rcx和r11，告知GCC这两个寄存器的值会被修改，编译器会避免将需要保留的变量存放在这些寄存器中。
• 现在即使开启内联优化，代码也能正常运行，因为GCC能正确处理寄存器的修改情况，合理安排变量存储。

内容的提问来源于stack exchange，提问作者OutOfBound