GCC/Clang是否支持自定义调用约定及非标准ABI调用处理方法

部分旧版本GCC、EGCS编译器会对单文件内的静态函数做不符合标准ABI的优化，比如随意选择寄存器传递参数、存储返回值，完全不遵循平台约定的调用规范。
参考如下针对MIPS o32 ABI的示例源码：

// Original foobar.c
// This example targets MIPS o32 ABI.

// Shared subroutine
// Compiler decided to use $16, $17 to pass a0 and a1 to minimize stack usage and move between registers.
static void __bar(int a0, int a1) {
    // Something very complicated
}

// ...

void foo(int a0, int a1) {
    // ...

    /*
    This call was compiled to something like:
        ori $16, $0, 0x1
        jal __bar
        ori $17, $0, 0x1
    */
    __bar(1, 1); 

    // ...
}

// ...

如果开发者没有原始源码，需要从编译产物的汇编代码还原重写foobar.c，通常会优先重写foo()这类遵循标准调用约定的函数。但要验证重写实现的正确性，必须处理对这类非标准ABI例程的调用逻辑。
一种常见的简易临时兼容方案，是借助GCC/Clang提供的全局寄存器变量特性做适配，对应还原代码示例如下：

// Restoration of foobar.c

// void __bar(int asm("s0"), int asm("s1"))
// External function in assembly, says foobar.s, which is from compiled original foobar.c.
void __bar();
volatile register int s0 asm ("s0"); // $16 = s0
volatile register int s1 asm ("s1"); // $17 = s1

// ...

void foo(int a0, int a1) {
    // ...

    // __bar(1, 1);
    s0 = 1; s1 = 1;
    __bar();

    // ...
}

// ...

1. GCC/Clang是否支持为特定函数配置自定义调用约定？ #

支持，但可自定义的程度非常有限，远达不到“任意指定传参/返回值寄存器”的灵活度：

• 不同架构下提供了一批预定义的调用约定属性，比如x86 32位平台的__attribute__((regparm(N)))可以指定用EAX/EDX/ECX传递前N个参数，x86_64平台可以用__attribute__((sysv_abi))/__attribute__((ms_abi))切换SysV和微软调用约定，AArch64平台有__attribute__((aarch64_vector_pcs))这类向量调用约定属性。但这些都是编译器提前实现好的固定规则，用户无法自行修改规则细节。
• 目前GCC和Clang都没有开放通用的自定义调用约定配置入口，无法直接在函数声明里指定“第一个参数走s0、第二个参数走s1”这类完全自定义的传参规则，少数架构的扩展属性支持有限的自定义调整，换架构就完全无法使用。
• 注意不要把extern "C"、__stdcall这类修饰和自定义调用约定混淆，这些修饰只是在现有预设ABI的基础上调整名字修饰、栈平衡规则，不涉及寄存器传参规则的自定义。

2. 针对这类非标准ABI调用场景，是否存在更优雅的处理方式？ #

有，比全局寄存器变量副作用更小、更稳妥的方案按推荐优先级排序如下：

• 最高优先级：写独立的汇编适配桩
  单独写一个几行代码的汇编文件，实现一个遵循平台标准ABI的包装函数。比如针对前面例子里参数走s0、s1的__bar，汇编桩里只需要做三件事：把标准ABI传递的第一个参数（MIPS o32下为a0寄存器）挪到s0，第二个参数（a1）挪到s1，然后直接跳转到原始__bar的地址即可，返回逻辑完全由__bar按自身规则处理。C代码里可以直接正常声明这个包装函数，按普通函数传参调用即可，完全不会干扰C编译器的寄存器分配，没有任何隐式副作用，兼容所有GCC/Clang版本，是生产环境最稳妥的方案。
• 次选：局部寄存器变量+内联汇编封装
  如果不想单独维护汇编文件，可以把调用逻辑封装成静态内联函数，用局部寄存器变量约束传参寄存器，配合内联汇编语句完成调用，不要使用全局寄存器变量。示例代码如下：

  static inline void __bar_custom(int a0, int a1) {
      register int r_s0 asm("s0") = a0;
      register int r_s1 asm("s1") = a1;
      // 调用时需要根据被调用函数实际修改的寄存器，补全破坏寄存器列表
      asm volatile("jal __bar" 
          : 
          : "r"(r_s0), "r"(r_s1) 
          : "memory", "ra" /* 所有__bar会修改的寄存器都列在这里 */);
  }
  

  这种写法的寄存器约束只在调用点局部生效，不会强制编译器在整个编译单元预留s0、s1寄存器，对代码生成效率的影响极小，只要破坏寄存器列表写全，基本不会出现异常。
• 全局寄存器变量的方案只适合临时快速验证，绝对不要长期使用：它会强制编译器在整个编译单元都不能把指定寄存器作为通用寄存器使用，生成的代码效率更低，还很容易和库函数、其他模块的寄存器使用逻辑冲突，问题排查成本极高。

内容的提问来源于stack exchange，提问作者imakak