Windows 10记事本调用SetWindowSubclass失败问题求助

核心问题：SetWindowSubclass不支持跨进程操作 #

你直接在自己的进程中调用SetWindowSubclass子类化记事本窗口是行不通的——这个API设计用于同一进程内的窗口子类化。子类回调函数SubclassProc的内存地址仅在你的程序进程空间内有效，记事本进程无法访问该地址，因此系统会直接拒绝此操作。

错误码为0的原因 #

跨进程调用SetWindowSubclass时，系统返回FALSE但未设置有效错误码，导致GetLastError()返回0，这是该场景下的正常表现。

正确解决方案：DLL注入+进程内子类化 #

要实现跨进程窗口子类化，必须将包含子类回调的代码注入到记事本进程中，让子类函数在目标进程空间内运行。以下是具体实现步骤：

1. 编写子类化DLL #

该DLL将在注入记事本进程后，对目标窗口进行子类化：

#include <windows.h>
#include <commctrl.h>

#pragma comment(lib, "Comctl32.lib")

LRESULT CALLBACK SubclassProc(HWND hwnd, UINT uMsg, WPARAM wParam, LPARAM lParam, UINT_PTR uIdSubclass, DWORD_PTR dwRefData)
{
    if (uMsg == WM_MOUSELEAVE)
    {
        // 输出调试信息到VS输出窗口
        OutputDebugString(L"WM_MOUSELEAVE 已拦截!\n");
        return 0; // 拦截消息
    }

    // 传递其他消息给原窗口过程
    return DefSubclassProc(hwnd, uMsg, wParam, lParam);
}

BOOL APIENTRY DllMain(HMODULE hModule, DWORD ul_reason_for_call, LPVOID lpReserved)
{
    switch (ul_reason_for_call)
    {
    case DLL_PROCESS_ATTACH:
        // 找到记事本主窗口
        HWND hwndNotepad = FindWindow(L"Notepad", NULL);
        if (hwndNotepad)
        {
            // 子类化主窗口
            SetWindowSubclass(hwndNotepad, SubclassProc, 1, 0);
            
            // 可选：子类化记事本的编辑控件（如果需要拦截编辑区的鼠标消息）
            HWND hwndEdit = FindWindowEx(hwndNotepad, NULL, L"Edit", NULL);
            if (hwndEdit)
            {
                SetWindowSubclass(hwndEdit, SubclassProc, 2, 0);
            }
        }
        break;
    case DLL_PROCESS_DETACH:
        // 进程退出时移除子类，避免内存泄漏
        HWND hwndNotepad = FindWindow(L"Notepad", NULL);
        if (hwndNotepad)
        {
            RemoveWindowSubclass(hwndNotepad, SubclassProc, 1);
            HWND hwndEdit = FindWindowEx(hwndNotepad, NULL, L"Edit", NULL);
            if (hwndEdit)
            {
                RemoveWindowSubclass(hwndEdit, SubclassProc, 2);
            }
        }
        break;
    case DLL_THREAD_ATTACH:
    case DLL_THREAD_DETACH:
        break;
    }
    return TRUE;
}

2. 编写DLL注入器 #

该程序负责将上述DLL注入到记事本进程：

#include <windows.h>
#include <iostream>

BOOL InjectDLL(DWORD dwProcessId, LPCWSTR szDllPath)
{
    // 打开目标进程（需管理员权限）
    HANDLE hProcess = OpenProcess(PROCESS_ALL_ACCESS, FALSE, dwProcessId);
    if (!hProcess)
        return FALSE;

    // 在目标进程中分配内存存储DLL路径
    LPVOID pRemoteBuf = VirtualAllocEx(hProcess, NULL, wcslen(szDllPath) * 2 + 2, MEM_COMMIT, PAGE_READWRITE);
    if (!pRemoteBuf)
    {
        CloseHandle(hProcess);
        return FALSE;
    }

    // 将DLL路径写入目标进程内存
    WriteProcessMemory(hProcess, pRemoteBuf, szDllPath, wcslen(szDllPath) * 2 + 2, NULL);

    // 获取LoadLibraryW的地址（所有进程中该地址固定）
    FARPROC pLoadLibrary = GetProcAddress(GetModuleHandle(L"kernel32.dll"), "LoadLibraryW");

    // 创建远程线程加载DLL
    HANDLE hRemoteThread = CreateRemoteThread(hProcess, NULL, 0, (LPTHREAD_START_ROUTINE)pLoadLibrary, pRemoteBuf, 0, NULL);
    if (!hRemoteThread)
    {
        VirtualFreeEx(hProcess, pRemoteBuf, 0, MEM_RELEASE);
        CloseHandle(hProcess);
        return FALSE;
    }

    // 等待线程执行完成
    WaitForSingleObject(hRemoteThread, INFINITE);

    // 清理资源
    CloseHandle(hRemoteThread);
    VirtualFreeEx(hProcess, pRemoteBuf, 0, MEM_RELEASE);
    CloseHandle(hProcess);

    return TRUE;
}

int main()
{
    // 查找记事本窗口
    HWND hwndNotepad = FindWindow(L"Notepad", NULL);
    if (!hwndNotepad)
    {
        std::cerr << "未找到记事本窗口" << std::endl;
        return 1;
    }

    // 获取记事本进程ID
    DWORD dwProcessId;
    GetWindowThreadProcessId(hwndNotepad, &dwProcessId);

    // 替换为你的DLL绝对路径
    LPCWSTR szDllPath = L"C:\\Your\\Path\\To\\SubclassNotepad.dll";
    if (!InjectDLL(dwProcessId, szDllPath))
    {
        std::cerr << "DLL注入失败，错误码：" << GetLastError() << std::endl;
        return 1;
    }

    std::cout << "DLL注入成功，已开始拦截WM_MOUSELEAVE消息" << std::endl;
    system("pause");
    return 0;
}

注意事项 #

• 确保DLL和注入器均为64位编译，与64位记事本匹配。
• 运行注入器需要管理员权限，否则无法打开记事本进程进行注入。
• WM_MOUSELEAVE消息需要窗口先调用TrackMouseEvent才能触发，若记事本本身未调用该函数，可在SubclassProc中主动添加TrackMouseEvent调用以启用该消息。

内容的提问来源于stack exchange，提问作者Whicked Hayo