Win10下ShellExecute打开文件返回成功但实际失败，如何判断真实状态？

问题背景 #

自Windows 10起，当尝试打开系统无法识别的文件类型时，系统会弹出「无法识别应用」对话框，但ShellExecute/ShellExecuteEx仍会向调用者返回看似成功的状态：

• 无论指定操作参数为"open"或NULL，ShellExecute返回值为0x2A
• 使用ShellExecuteEx时，即使设置SEE_MASK_FLAG_NO_UI，hInstApp仍为0x2A且函数返回true，甚至仍会弹出无可用选项的对话框

解决方案 #

1. 提前检查文件关联是否存在 #

在调用ShellExecute系列函数前，先验证目标文件类型是否有已注册的关联应用，这是最可靠的前置判断方式：

• 使用AssocQueryString函数查询关联命令：

  WCHAR szCommand[MAX_PATH] = {0};
  DWORD dwSize = MAX_PATH;
  HRESULT hr = AssocQueryString(ASSOCF_INIT_DEFAULTTOSTAR, ASSOCSTR_COMMAND, L".unknown_ext", L"open", szCommand, &dwSize);
  if (hr != S_OK) {
      // 无对应关联应用，直接判定打开失败
  }
  

• 或通过注册表验证：读取HKEY_CLASSES_ROOT\.your_extension的默认值，确认其指向已注册的应用程序类，再检查该类下shell\open\command是否存在有效命令。

2. 正确解读ShellExecute系列的返回值 #

不要被表面的"成功返回"误导，明确返回值的实际含义：

• ShellExecute返回的0x2A对应常量SE_ERR_NOASSOC，本质是无文件类型关联，并非打开成功
• ShellExecuteEx返回true但hInstApp为0x2A时，同样代表关联不存在，文件未被成功打开

3. 通过ShellExecuteEx的进程状态验证 #

调用ShellExecuteEx时添加SEE_MASK_NOASYNC和SEE_MASK_WAITFORINPUTIDLE标志，等待应用启动完成后通过进程句柄判断状态：

SHELLEXECUTEINFO sei = {0};
sei.cbSize = sizeof(SHELLEXECUTEINFO);
sei.fMask = SEE_MASK_NOASYNC | SEE_MASK_WAITFORINPUTIDLE | SEE_MASK_FLAG_NO_UI;
sei.lpVerb = L"open";
sei.lpFile = L"test.unknown_ext";
sei.nShow = SW_SHOWNORMAL;

if (ShellExecuteEx(&sei)) {
    if (sei.hInstApp > (HINSTANCE)32) {
        // 关联应用成功启动，可通过sei.hProcess进一步检查进程运行状态
        CloseHandle(sei.hProcess);
    } else {
        // 返回值≤32代表错误，0x2A即无关联
    }
}

注意：Windows 10+中即使设置SEE_MASK_FLAG_NO_UI，仍可能弹出「无法识别应用」对话框，因此前置关联检查优先级更高。

内容的提问来源于stack exchange，提问作者Phoenix