x86汇编：WriteConsole调用失败返回0的问题排查

问题排查与解决方案 #

1. 核心问题：子系统类型错误 #

你的程序当前编译为GUI子系统程序，而非控制台子系统程序。GUI程序默认不会自动创建控制台窗口，导致WriteConsole找不到有效的输出目标，因此返回失败（返回值0）。

解决方法：
编译链接时明确指定控制台子系统。在MASM32环境中，链接命令需添加/subsystem:console参数，示例如下：

ml /c /coff your_program.asm
link /subsystem:console your_program.obj /libpath:D:\masm32\lib kernel32.lib user32.lib gdi32.lib

2. 可选方案：动态分配控制台 #

如果需要程序在GUI子系统下也能输出到控制台，可以在调用WriteWrapper前手动分配控制台：

main PROC
    ; 先分配控制台
    call        AllocConsole
    cmp         eax, 0
    je          ExitMain  ; 分配失败则直接退出

    INVOKE      WriteWrapper, offset promptWelc, promptWelcL
    ; ... 后续原有代码不变

额外调试技巧：获取具体错误码 #

可以在b_InvalidWriteConsoleResult标签处添加GetLastError()调用，获取更详细的失败原因（比如无效句柄、非控制台程序等）：

b_InvalidWriteConsoleResult:
    call        GetLastError  ; eax会返回具体错误码
    mov         exitCode, eax ; 将错误码存入全局变量，方便调试查看
    jmp         ExitWriteWrapper

参考文档推荐 #

• MASM32本地手册：安装目录help文件夹下的文档，包含x86汇编语法、Win32 API调用示例
• Win32 API官方文档：重点关注WriteConsole、GetStdHandle、AllocConsole的参数要求与返回值说明
• 《Windows汇编语言程序设计》：适合初学者的入门书籍，覆盖控制台程序开发与Win32 API调用基础

内容的提问来源于stack exchange，提问作者Shogery