Ctypes执行回调后错误重复调用NASM编写的DLL问题

这大概率是调用约定不匹配或者栈平衡处理错误导致的问题——手写NASM DLL时，很容易在回调函数的调用、返回环节踩这类坑，进而导致栈指针混乱，看起来像是回调执行后错误重入了DLL。咱们一步步拆解排查：

1. 确保回调函数的调用约定完全匹配 #

ctypes和NASM的调用约定必须严格对齐，否则会直接破坏栈结构：

• Windows平台下，ctypes.CFUNCTYPE默认是cdecl调用约定（调用者负责清理栈），ctypes.WINFUNCTYPE对应stdcall（被调用者负责清理栈）。
• 你需要先确认NASM代码里调用回调时用的是哪种约定：
  • 如果NASM里调用回调后手动执行了add esp, n清理栈参数，那是cdecl，Python里要用CFUNCTYPE声明回调；
  • 如果NASM里调用回调后没清理栈，指望回调自己处理，那是stdcall，Python里必须用WINFUNCTYPE。

举个正确的Python回调声明示例（假设用stdcall）：

import ctypes
import math

# 明确声明回调的参数、返回类型，以及调用约定为stdcall
CallbackType = ctypes.WINFUNCTYPE(ctypes.c_double, ctypes.c_double)

def LibraryCall(a):
    b = math.ceil(a)
    return float(b)  # 明确转成float，匹配double的返回类型要求

# 包装回调函数
callback_instance = CallbackType(LibraryCall)

2. 检查NASM中调用回调后的栈平衡 #

这是手写汇编最容易出错的点：

• 如果你用的是cdecl调用回调，调用完必须手动清理栈上的参数。比如传入一个8字节的double参数，调用后要执行add esp, 8：

  ; 假设回调指针存在ebx，参数x的地址在esi
  push dword [esi+4]  ; 压入double的高32位
  push dword [esi]    ; 压入double的低32位
  call [ebx]          ; 调用cdecl回调
  add esp, 8          ; 手动清理8字节的参数栈
  

• 如果是stdcall，回调函数本身会在返回时清理栈，NASM里就不需要额外执行add esp操作。

3. 验证DLL导出函数的返回指令 #

你的NASM导出函数也要遵循对应的调用约定：

• 如果是stdcall导出函数，返回时要用ret n（n是参数总字节数），比如一个8字节参数的函数，返回时写ret 8；
• 如果是cdecl导出函数，直接用ret即可，由Python的ctypes负责清理栈。

如果返回指令用错，同样会导致栈指针偏移，触发错误的指令跳转。

4. 确认回调返回值的类型匹配 #

你在回调里返回math.ceil(a)，注意math.ceil在Python里返回的是整数类型，但如果你的回调声明返回的是double（浮点数），最好显式转成float：return float(b)，避免ctypes在类型转换时出现隐性的栈/寄存器数据混乱。

完整示例参考 #

NASM DLL代码（stdcall约定） #

section .data
    callback_ptr dd 0

section .text
    global _SetCallback@4
    global _TestCall@8

; 导出函数：设置回调指针（stdcall，参数4字节）
_SetCallback@4:
    mov [callback_ptr], eax
    ret 4

; 导出函数：触发回调（stdcall，参数8字节double）
_TestCall@8:
    ; 压入double参数的高低位
    push dword [esp+8]
    push dword [esp+4]
    call [callback_ptr]  ; 调用stdcall回调，回调自行清理栈
    ret 8  ; 清理8字节的参数栈

对应的Python ctypes代码 #

import ctypes
import math

# 声明回调类型：返回double，参数double，stdcall约定
CallbackType = ctypes.WINFUNCTYPE(ctypes.c_double, ctypes.c_double)

def LibraryCall(a):
    b = math.ceil(a)
    return float(b)

# 加载DLL（WinDLL默认用stdcall调用导出函数）
my_dll = ctypes.WinDLL("your_dll_name.dll")

# 设置导出函数的参数类型
my_dll.SetCallback.argtypes = (CallbackType,)
my_dll.TestCall.argtypes = (ctypes.c_double,)
my_dll.TestCall.restype = ctypes.c_double

# 注册回调并测试
callback = CallbackType(LibraryCall)
my_dll.SetCallback(callback)
result = my_dll.TestCall(2.3)
print(f"回调返回结果：{result}")

先从调用约定和栈平衡这两个核心点排查，把NASM和Python代码的约定对齐，应该就能解决这个错误重入的问题。

内容的提问来源于stack exchange，提问作者RTC222