自研静态类型脚本语言：如何调用参数可变的DLL函数？

问题核心 #

你用Rust自研静态类型脚本语言，希望像示例那样直接导入DLL/SO的原生函数，但libloading依赖编译期确定的函数签名，而脚本的函数签名是运行时解析的。C#的DllImport通过运行时生成调用桩解决了这个问题，你不想用“传递虚拟机栈指针”的折中方案，需要更友好的实现。

可行解决方案 #

1. 运行时生成调用桩（最贴近C#的实现方式） #

这是主流语言动态绑定原生函数的标准做法：

• 解析脚本中的extern块，提取函数名、参数类型、返回值类型及调用约定。
• 根据目标平台的调用约定（如x86_64的寄存器传参、x86的栈传参），动态生成机器码调用桩：
  • 从虚拟机栈中取出参数，按约定放到对应寄存器或栈位置。
  • 跳转到原生函数指针执行。
  • 将返回值转换为脚本类型，写回虚拟机栈。
• 在Rust中可以用dynasm-rs库简化汇编代码生成，配合mmap（Linux）或VirtualAlloc（Windows）分配可执行内存页，将生成的机器码写入后执行。

2. 基于Unsafe的手动栈帧适配 #

不需要动态生成代码，但需要深入掌握目标平台调用约定：

• 用libloading将原生函数加载为最通用的unsafe extern "C" fn()类型。
• 根据脚本签名，用std::arch::asm!宏手动控制寄存器和栈：
  • 把虚拟机栈中的参数加载到调用约定要求的寄存器/栈位置。
  • 调用原生函数指针。
  • 将返回值从寄存器/栈中取出，转换后放回虚拟机栈。
• 这种方式无需动态代码，但适配多平台需要编写大量平台相关的汇编逻辑，维护成本较高。

3. 自动生成包装器（折中方案） #

如果不想处理底层汇编，可以做一个轻量代码生成工具：

• 解析脚本的extern定义，自动生成Rust包装函数：函数接收虚拟机栈指针，手动弹出参数、调用原生函数、压入返回值。
• 将生成的Rust代码编译为动态库，在脚本运行时加载该库，通过函数名映射到对应的包装器。
• 这种方式比手动写包装器高效，避免了运行时生成代码的复杂度，仅需额外的编译步骤。

关键注意点 #

• 调用约定匹配：脚本中声明的调用约定必须和原生函数完全一致（如C默认的cdecl、Windows API的stdcall），否则会导致栈损坏或参数传递错误。
• 类型宽度校验：确保脚本类型与原生类型的宽度匹配（如脚本int是64位，对应原生int64_t），运行时需做类型检查防止溢出或截断。
• 内存安全：所有unsafe操作必须严格验证，尤其是函数指针调用和动态内存操作，一旦出错会直接导致程序崩溃。

内容的提问来源于stack exchange，提问作者Aaron Record