Kotlin多平台Windows应用：JNA监听WinApi消息无响应问题排查

你的代码存在两个核心问题导致GetMessage阻塞无法处理消息：

• 窗口消息的线程关联性：Windows窗口的消息队列属于创建它的线程，你在新线程中调用FindWindow获取主窗口后，用GetMessage尝试获取该窗口的消息是无效的——因为这个窗口的消息只会被投递到它的创建线程（主线程）的消息队列，新线程无法捕获这些消息，导致GetMessage一直阻塞等待不存在的消息。
• 消息泵逻辑错误：TranslateMessage和DispatchMessage被放在了while循环外部，即使能拿到消息，也无法正确处理消息循环，这会导致消息队列堆积，程序无法响应。

另外，单实例检测逻辑缺失，应该先通过命名互斥量判断是否已有实例运行，再决定是发送消息还是启动主程序。

修正后的实现步骤 #

1. 单实例检测（用命名互斥量） #

在程序启动时先创建命名互斥量，判断是否已有实例：

fun main() {
    // 创建全局命名互斥量，确保单实例
    val mutex = Kernel32.INSTANCE.CreateMutex(null, true, "Global\\MyMusicPlayerMutex")
    val errorCode = Kernel32.INSTANCE.GetLastError()
    
    if (errorCode == WinError.ERROR_ALREADY_EXISTS) {
        // 已有实例运行，发送待播放文件路径
        val args = args.takeIf { it.isNotEmpty() }?.first()
        args?.let { sendFilePathMessage(it) }
        return // 新实例退出
    }
    
    // 正常启动主程序，初始化窗口等
    runMainApplication()
}

2. 在主窗口的窗口过程中处理WM_COPYDATA #

不要单独开线程监听消息，而是在主窗口的WndProc中直接处理WM_COPYDATA。以下是基于JNA注册窗口过程回调的示例：

import com.sun.jna.Native
import com.sun.jna.platform.win32.*
import com.sun.jna.win32.W32APIOptions
import java.io.File

// 自定义窗口过程回调
class CustomWndProc(private val originalWndProc: WinUser.WNDPROC) : WinUser.WNDPROC {
    override fun callback(hwnd: WinDef.HWND, msg: Int, wParam: WinDef.WPARAM, lParam: WinDef.LPARAM): WinDef.LRESULT {
        if (msg == WinUser.WM_COPYDATA) {
            val copyData = WinUser.COPYDATASTRUCT(lParam.pointer)
            // 读取宽字符串格式的文件路径
            val filePath = copyData.lpData.getWideString(0)
            val file = File(filePath)
            if (file.exists()) {
                handleFileArgument(filePath) // 执行你的播放逻辑
            }
            // 返回TRUE表示成功处理消息
            return WinDef.LRESULT(1)
        }
        // 其他消息交给原窗口过程处理
        return User32.INSTANCE.CallWindowProc(originalWndProc, hwnd, msg, wParam, lParam)
    }
}

// 在主窗口初始化完成后注册回调
fun setupWndProcCallback(hwnd: WinDef.HWND) {
    val user32 = User32.INSTANCE
    val originalWndProc = user32.GetWindowLongPtr(hwnd, WinUser.GWL_WNDPROC)
    val customWndProc = CustomWndProc(WinUser.WNDPROC(originalWndProc))
    // 设置新的窗口过程
    user32.SetWindowLongPtr(hwnd, WinUser.GWL_WNDPROC, customWndProc.pointer)
    // 必须保留customWndProc的引用，防止被GC回收导致程序崩溃
}

3. 修正SendMessage逻辑 #

原发送函数中cbData的计算有误，宽字符串的字节数需要包含终止符，同时规范SendMessage的参数传递：

private fun sendFilePathMessage(filePath: String) {
    val user32 = User32.INSTANCE
    val activeInstance = user32.FindWindow(null, "MyAppName") ?: return

    // 分配内存存储宽字符串，自动包含终止符
    val buffer = Memory((filePath.length + 1) * 2L)
    buffer.setWideString(0, filePath)

    val copyData = WinUser.COPYDATASTRUCT().apply {
        dwData = WinDef.ULONG_PTR(0)
        cbData = (filePath.length + 1) * 2 // 包含终止符的总字节数
        lpData = buffer
    }

    // 发送WM_COPYDATA消息，SendMessage会阻塞直到接收方处理完成
    user32.SendMessage(
        activeInstance,
        WinUser.WM_COPYDATA,
        WinDef.WPARAM(0),
        WinDef.LPARAM(copyData.pointer.nativeValue)
    )
}

关键注意事项 #

• 窗口句柄获取时机：确保在主窗口完全创建后再调用setupWndProcCallback，否则FindWindow可能找不到目标窗口。
• 回调引用保留：自定义的CustomWndProc必须保持全局引用，不能被GC回收，否则会引发程序崩溃。
• 互斥量命名：使用Global\\前缀可以确保多用户会话下的单实例检测，如果仅需当前用户会话，可去掉该前缀。

内容的提问来源于stack exchange，提问作者Parkinson