MinGW32编译Visual Studio C++ DLL代码失效问题及解决方法

我用命令i686-w64-mingw32-g++ hello-world.cpp -o hello-world.dll -shared编译一段C++代码，编译过程无报错，且通过dllexp.exe能确认MessageBoxThread函数已导出。但执行rundll32.exe hello-world.dll,MessageBoxThread时没有任何反应；相同代码用Visual Studio编译后生成的DLL却能正常弹出消息框。

代码如下：

#include <windows.h>

extern "C" __declspec(dllexport)
DWORD WINAPI MessageBoxThread(LPVOID lpParam) {
  MessageBox(NULL, "Hello world!", "Hello World!", NULL);
  return 0;
}

extern "C" __declspec(dllexport)
BOOL APIENTRY DllMain(HMODULE hModule,
                      DWORD ul_reason_for_call,
                      LPVOID lpReserved) {
  switch (ul_reason_for_call) {
    case DLL_PROCESS_ATTACH:
      CreateThread(NULL, NULL, MessageBoxThread, NULL, NULL, NULL);
      break;
    case DLL_THREAD_ATTACH:
    case DLL_THREAD_DETACH:
    case DLL_PROCESS_DETACH:
      break;
  }
  return TRUE;
}

问题出在**MessageBoxThread的函数签名不符合rundll32.exe的强制调用规范**：

• rundll32调用DLL导出函数时，会固定传入4个参数：HWND hwnd, HINSTANCE hinst, LPSTR lpszCmdLine, int nCmdShow，且要求函数使用CALLBACK（即__stdcall）调用约定。
• 你的函数只定义了1个LPVOID参数——虽然WINAPI和CALLBACK都是__stdcall调用约定，但参数数量不匹配会导致栈不平衡。
• VS编译的版本能运行是因为其栈检查和参数处理对这种不匹配的兼容性更强；而MinGW严格遵循调用约定标准，栈不平衡会直接引发函数执行异常（进程静默退出），所以看不到消息框。

另外提一句：DllMain中创建线程的做法本身不推荐（DllMain执行时处于加载锁中，线程操作可能触发死锁），但这不是本次问题的直接原因——你是通过rundll32直接调用导出函数，而非依赖DllMain触发线程。

修改MessageBoxThread的函数签名，让它完全符合rundll32的调用要求：

#include <windows.h>

// 适配rundll32的函数签名
extern "C" __declspec(dllexport)
void CALLBACK MessageBoxThread(HWND hwnd, HINSTANCE hinst, LPSTR lpszCmdLine, int nCmdShow) {
  MessageBox(NULL, "Hello world!", "Hello World!", MB_OK);
}

extern "C" __declspec(dllexport)
BOOL APIENTRY DllMain(HMODULE hModule,
                      DWORD ul_reason_for_call,
                      LPVOID lpReserved) {
  switch (ul_reason_for_call) {
    case DLL_PROCESS_ATTACH:
      // 若需要加载DLL时自动弹出消息框，可保留此线程创建逻辑，但需注意DllMain的限制
      // CreateThread(NULL, NULL, reinterpret_cast<LPTHREAD_START_ROUTINE>(MessageBoxThread), NULL, NULL, NULL);
      break;
    case DLL_THREAD_ATTACH:
    case DLL_THREAD_DETACH:
    case DLL_PROCESS_DETACH:
      break;
  }
  return TRUE;
}

用原编译命令重新编译：

i686-w64-mingw32-g++ hello-world.cpp -o hello-world.dll -shared

再次执行rundll32.exe hello-world.dll,MessageBoxThread，就能正常弹出消息框了。

内容的提问来源于stack exchange，提问作者Lexicon