C++中NtWaitForSingleObject异常：移除std::cout触发无效句柄错误

问题现象 #

• 保留系统调用后的两条std::cout语句时，程序运行正常；
• 移除其中一条或全部时，NtWaitForSingleObject_Syscall返回0xC0000008（STATUS_INVALID_HANDLE）错误；
• 已验证调用前寄存器和变量值正确，传入的句柄为GetCurrentProcess()的返回值，本应有效。

代码实现 #

汇编代码(.asm) #

.code 

; func NtDelayExecution
NtDelayExecution_Syscall proc
    mov rax, 34h
    syscall
    ret
NtDelayExecution_Syscall endp

; func NtWaitForSingleObject
NtWaitForSingleObject_Syscall proc
    mov rax, 04h
    syscall
    ret
NtWaitForSingleObject_Syscall endp
end

C++代码(.cpp) #

#define WIN32_LEAN_AND_MEAN
#include <windows.h>
#include <iostream>

extern "C" LONG NtDelayExecution_Syscall(
    BOOLEAN Alertable,
    PLARGE_INTEGER DelayInterval
);

extern "C" LONG NtWaitForSingleObject_Syscall(
    HANDLE hProcess,
    BOOLEAN Alertable,
    PLARGE_INTEGER DelayInterval
);

void StartMonitor(HANDLE hProcessToMonitor) {
    // 设置零超时
    LARGE_INTEGER integer;
    integer.QuadPart = -10000 * 1000;
    LARGE_INTEGER timeout;
    timeout.QuadPart = 0;
    LONG result;
    while (true) {
        result = NtDelayExecution_Syscall(FALSE, &integer);
        std::cout << result << std::endl;  // 问题：移除此行会触发错误
        result = NtWaitForSingleObject_Syscall(hProcessToMonitor, FALSE, &timeout);
        std::cout << result << std::endl;  // 问题：移除此行会触发错误
    }
    return;
}

int main() {
    HANDLE hProcess = GetCurrentProcess();  // 使用GetCurrentProcess()句柄
    StartMonitor(hProcess);
    return 0;
}

已尝试的排查步骤 #

• 禁用编译器优化（MSVC的/Od），无变化；
• 禁用std::cout与C标准IO同步，无变化；
• 添加栈填充变量，无效果；
• 对变量使用alignas(16)，无效；
• 调试发现错误发生时，存储句柄的RCX寄存器值为FFFFFFFFFFFFFFF。

疑问 #

1. 为何std::cout的存在会影响NtWaitForSingleObject_Syscall的执行结果？
2. 输出流如何影响系统调用的行为？
3. 还有哪些调试步骤可用于定位根本原因？
4. 这是否与内存对齐、栈管理或MSVC特性相关？
5. NtWaitForSingleObject在底层系统调用中处理GetCurrentProcess()句柄是否存在已知问题？

问题分析与解答 #

根本原因 #

你的汇编系统调用函数不符合Windows x64系统调用的规范：Windows的syscall指令执行时会将RCX寄存器替换为用户态的返回地址（RIP），因此必须先把第一个参数从RCX转移到R10寄存器，再执行syscall。你的代码直接执行syscall，导致第一个参数被破坏；而std::cout的内部调用会修改寄存器状态，偶尔掩盖了参数被破坏的问题，没有cout时错误就会直接显现。

针对疑问的解答 #

1. 为何std::cout的存在会影响结果？
   std::cout的内部实现会执行大量用户态代码和系统调用（如WriteFile），这些操作会修改RCX、RDX等寄存器的状态。在错误的系统调用之后，这些寄存器的变化恰好让后续调用的参数意外“正确”，从而掩盖了参数被破坏的问题。没有cout时，寄存器状态直接暴露了参数错误。

2. 输出流如何影响系统调用行为？
   输出流本身不直接影响系统调用逻辑，但它的执行会改变寄存器、栈的状态，无意中抵消了你的系统调用函数的错误，让参数传递偶尔“正常”工作。

3. 还有哪些调试步骤？

• 用调试器单步执行汇编函数，观察syscall前后RCX、R10寄存器的值；
• 对比ntdll.dll中导出的NtWaitForSingleObject的汇编实现（可通过dumpbin或IDA工具查看）；
• 在系统调用函数前后添加寄存器保存/恢复代码，验证错误是否消失；
• 打印传入系统调用的参数地址和值，确认调用前参数是否正确。

4. 是否与内存对齐、栈管理或MSVC特性相关？
   不直接相关，核心问题是系统调用的寄存器传递规范错误。不过MSVC的x64调用约定（fastcall）要求前四个参数用寄存器传递，这和系统调用规范结合时，必须正确处理RCX到R10的转移，否则会出现参数错误。

5. NtWaitForSingleObject处理GetCurrentProcess()句柄是否有已知问题？
   没有。GetCurrentProcess()返回的是伪句柄（值为-1，64位下即FFFFFFFFFFFFFFF），NtWaitForSingleObject可以正确识别该伪句柄并转换为当前进程的真实句柄。你的错误是因为传入的句柄参数被破坏，导致实际传递给系统调用的是无效值。

修正后的汇编代码 #

.code 

; func NtDelayExecution
NtDelayExecution_Syscall proc
    mov r10, rcx  ; 保存第一个参数到R10，避免syscall覆盖RCX
    mov rax, 34h
    syscall
    ret
NtDelayExecution_Syscall endp

; func NtWaitForSingleObject
NtWaitForSingleObject_Syscall proc
    mov r10, rcx  ; 保存第一个参数到R10，避免syscall覆盖RCX
    mov rax, 04h
    syscall
    ret
NtWaitForSingleObject_Syscall endp
end

内容的提问来源于stack exchange，提问作者ObemeVortep