如何JIT编译通过指针调用的函数？动态编译未定义函数方案优化

你当前的实现思路是热度触发JIT编译：先解释执行代码并统计函数调用次数，当函数被调用X次后，用llvmlite将其编译为LLVM IR，后续改用编译版本执行。编译后的代码依赖function_array（已编译函数指针数组）和function_index（调用索引），但核心问题是：编译后的函数可能调用未编译的函数，无法提前静态检测，需要实现“暂停执行→编译目标函数→执行→恢复原调用者”的流程。

你提出的“调用前加标签+运行时检查+解释器编译后跳转恢复”的方案是可行的，但存在编译代码冗余、每次调用都要做检查的问题，下面是几个更优的实现方案：

方案1：懒加载Trampoline（蹦床函数） #

• 核心思路：function_array初始化时不存编译后的函数指针，而是为每个函数绑定一个trampoline函数。trampoline的逻辑统一：
  1. 检查目标函数是否已编译；
  2. 未编译则触发解释器完成编译，将function_array中对应位置的指针替换为编译后的函数；
  3. 跳转到目标函数执行。
• 优势：
  • 编译函数时无需插入额外的检查和标签，代码生成逻辑更简洁；
  • 仅在第一次调用未编译函数时触发一次编译开销，后续调用直接走编译后的函数，性能损耗可以忽略；
  • 统一处理所有函数调用，避免每个调用点重复写检查逻辑。
• 实现细节：用llvmlite生成trampoline时，可将函数索引作为参数传递，trampoline调用你实现的“编译并获取函数指针”的接口，更新数组后执行目标函数。

方案2：统一调用存根+状态保存/恢复 #

• 核心思路：编译函数时，所有函数调用都替换为调用一个统一的存根函数，而非直接访问function_array。存根函数负责：
  1. 检查目标索引对应的函数是否已编译；
  2. 已编译则直接调用；
  3. 未编译则保存当前编译代码的执行状态（磁带指针、寄存器状态、当前指令位置等）到解释器的状态结构体；
  4. 触发解释器编译并执行目标函数；
  5. 执行完成后，从保存的状态恢复，继续执行原编译函数。
• 优势：
  • 无需为每个调用点单独生成标签，存根函数是统一实现的，减少编译阶段的代码生成复杂度；
  • 状态保存可利用LLVM的寄存器信息，只保存必要的寄存器和栈数据，恢复效率更高。

方案3：预编译函数骨架+动态替换实现 #

• 核心思路：在解释执行前，先为所有函数生成空的LLVM IR骨架函数，骨架的逻辑是：触发解释器编译该函数的核心逻辑，然后用LLVM的动态函数替换能力将自身替换为编译后的实现，最后跳转执行。
• 优势：
  • function_array初始化时就填满了所有函数的骨架指针，不存在“索引超出数组范围”的问题；
  • 第一次调用触发编译后，后续调用直接走编译后的逻辑，完全不需要运行时数组检查。

方案对比 #

你提出的标签跳转方案需要在每个调用点插入检查逻辑和标签，不仅代码生成繁琐，还会导致每次调用都要执行检查（即使函数已编译）。而上述三个方案中，Trampoline方案是最优选择——实现简单，性能开销极低，不需要修改编译函数的核心逻辑，仅需调整function_array的初始化和函数调用方式。

内容的提问来源于stack exchange，提问作者user92523