开启数据执行防护(DEP)时旧C++应用创建窗口报错的解决咨询

启用数据执行防护（DEP）后，代码最后一行调用pPrintDlg->Create触发事件ID1000的错误，核心原因是旧组件MyCompany.PrintDlg的内存执行行为违反DEP规则，或代码本身存在调用/参数传递问题。以下是具体解决思路：

一、修复组件本身的DEP兼容性 #

• 检查MyCompany.PrintDlg组件的编译配置：旧组件大概率未开启DEP支持（链接选项/NXCOMPAT），导致其内部生成的可执行代码被加载到DEP标记为不可执行的内存页中，触发拦截。如果能重新编译该组件，添加/NXCOMPAT链接选项是最彻底的解决方案。

二、调整组件调用方式 #

• 改用进程外激活组件：将CoCreateInstance的CLSCTX_INPROC_SERVER改为CLSCTX_LOCAL_SERVER，让组件以独立进程运行。DEP是进程级防护，组件进程的DEP设置不影响主应用，即使组件未开启DEP，其自身进程也可正常执行内存中的代码：

  hResult = ::CoCreateInstance(clsidPrintDlg, NULL, CLSCTX_LOCAL_SERVER, IID_IPrintDlg, (LPVOID*) &pPrintDlg);
  

三、修正参数传递问题 #

• 检查IPrintDlg::Create的参数定义：当前将HWND强制转换为long，在64位系统下会导致指针截断，传递错误的内存地址，进而触发DEP拦截或内存访问错误。
  • 如果接口定义的Create参数是HWND，直接传递GetSafeHwnd()即可：

    HRESULT hr = pPrintDlg->Create(GetSafeHwnd());
    

  • 如果接口确实要求long类型，需用兼容的转换方式避免截断：

    HRESULT hr = pPrintDlg->Create((long)(INT_PTR)GetSafeHwnd());
    

四、完善错误检查逻辑 #

• 当前代码在CoCreateInstance失败时，pPrintDlg仍为NULL，直接调用Create会导致空指针访问，这也会触发事件ID1000的错误。必须添加空指针检查：

  if (SUCCEEDED(hResult) && pPrintDlg) {
      HRESULT hr = pPrintDlg->Create(...);
      // 业务逻辑处理
      pPrintDlg->Release(); // 别忘了释放COM对象
  }
  

五、通过IDispatch间接调用方法 #

• 由于IPrintDlg实现了IDispatch，可以尝试通过IDispatch的Invoke方法间接调用Create，绕开直接的虚函数调用（旧组件的虚表可能指向不可执行内存）：

  IDispatch* pDispatch = nullptr;
  if (SUCCEEDED(hResult)) {
      hResult = pPrintDlg->QueryInterface(IID_IDispatch, reinterpret_cast<LPVOID*>(&pDispatch));
  }
  if (pDispatch) {
      DISPID dispidCreate;
      const OLECHAR* szMethodName = OLESTR("Create");
      hResult = pDispatch->GetIDsOfNames(IID_NULL, const_cast<LPOLESTR*>(&szMethodName), 1, LOCALE_USER_DEFAULT, &dispidCreate);
      if (SUCCEEDED(hResult)) {
          VARIANTARG args[1];
          VariantInit(&args[0]);
          args[0].vt = VT_I4;
          args[0].lVal = static_cast<long>(reinterpret_cast<INT_PTR>(GetSafeHwnd()));
          
          VARIANT varResult;
          VariantInit(&varResult);
          hResult = pDispatch->Invoke(dispidCreate, IID_NULL, LOCALE_USER_DEFAULT, DISPATCH_METHOD, args, &varResult, nullptr, nullptr);
          
          VariantClear(&varResult);
          VariantClear(&args[0]);
      }
      pDispatch->Release();
  }
  

内容的提问来源于stack exchange，提问作者MamaCasc