构建XLL遇‘该程序无法在DOS模式下运行’且进程未启动问题排查

核心问题1：架构不匹配 #

你的链接参数中指定了/MACHINE:X86，会生成32位的DLL/XLL，但你使用的是64位Excel。64位进程无法加载32位模块，这是出现“该程序无法在DOS模式下运行”错误的直接原因。

核心问题2：代码逻辑错误 #

进程创建后处于挂起状态 #

调用CreateProcessA时使用了CREATE_SUSPENDED标志，这个标志会让新建进程处于暂停状态，不会主动运行，所以记事本无法启动。需要移除该标志，或者调用ResumeThread(pi->hThread)恢复进程。

字符串参数存在未定义行为 #

(LPSTR)"notepad.exe"是将常量字符串强制转换为可写指针，属于不安全操作。CreateProcessA的第二个参数若为常量字符串，应使用LPCSTR类型，或者复制到可写缓冲区中（API可能会修改该参数）。

DllMain中执行复杂操作风险高 #

DllMain是DLL加载/卸载的入口，该上下文不适合执行CreateProcess这类复杂操作，可能引发死锁或异常。建议将进程创建逻辑放到Excel会调用的导出函数中，比如xlAutoOpen。

资源泄漏问题 #

使用new分配的STARTUPINFOA和PROCESS_INFORMATION未释放，且PROCESS_INFORMATION中的进程、线程句柄未调用CloseHandle关闭，会造成内存与句柄泄漏。

核心问题3：XLL不符合Excel加载规范 #

单纯将DLL重命名为XLL不足以让Excel正确识别，Excel加载XLL时会查找特定导出函数（如xlAutoOpen、xlAutoClose），缺少这些函数会导致加载失败或行为异常。

修正后的示例代码 #

#include "pch.h"
#include <windows.h>

// Excel XLL必需的导出函数，加载时会被调用
extern "C" __declspec(dllexport) int xlAutoOpen() {
    STARTUPINFOA si = { 0 };
    si.cb = sizeof(si);
    PROCESS_INFORMATION pi = { 0 };

    // 使用可写缓冲区存放命令行，避免常量字符串强制转换问题
    char cmdLine[] = "notepad.exe";
    BOOL result = CreateProcessA(NULL, cmdLine, NULL, NULL, TRUE, 0, NULL, NULL, &si, &pi);

    if (result) {
        // 关闭句柄释放系统资源
        CloseHandle(pi.hThread);
        CloseHandle(pi.hProcess);
    }

    return 1;
}

// 可选：XLL卸载时调用的清理函数
extern "C" __declspec(dllexport) void xlAutoClose() {
    // 自定义清理逻辑
}

BOOL APIENTRY DllMain(HMODULE hModule, DWORD ul_reason_for_call, LPVOID lpReserved) {
    switch (ul_reason_for_call) {
    case DLL_PROCESS_ATTACH:
    case DLL_THREAD_ATTACH:
    case DLL_THREAD_DETACH:
    case DLL_PROCESS_DETACH:
        break;
    }
    return TRUE;
}

编译链接参数修正 #

1. 将链接参数中的/MACHINE:X86改为/MACHINE:X64，生成64位模块以匹配64位Excel。
2. 若保留/D "_UNICODE"和/D "UNICODE"宏，建议改用CreateProcessW宽字符版本；若使用ANSI版本，可移除这些宏保持参数一致性。

内容的提问来源于stack exchange，提问作者C. Cristi