替换IFileOpenDialog为自定义对话框时.NET环境出现InvalidCastException问题

问题根因 #

你遇到的转换报错本质是.NET运行时的COM交互逻辑差异导致：
原生程序调用CoCreateInstance创建文件对话框时，只会校验接口GUID是否匹配，不管COM对象的实现是托管还是原生，所以你的方案可以正常运行。
但.NET的System.Windows.Forms.OpenFileDialog内部会将创建的COM对象强制转换为内置的FileOpenDialogRCW专用包装类，而你的组件在注册表中标记了.NET托管COM分类，CLR识别后会直接返回托管类实例，不会生成标准RCW对象，因此触发类型转换异常。

修复方案 #

• 移除托管COM分类注册表项
  删除你当前注册表中如下配置项，避免CLR将你的组件识别为托管对象：

[HKEY_CURRENT_USER\SOFTWARE\Classes\CLSID\{DC1C5A9C-E88A-4DDE-A5A1-60F82A20AEF7}\Implemented Categories\{62C8FE65-4EBB-45E7-B440-6E39B2CDBF29}]

删除后COM会将你的组件视为原生COM对象，CLR会自动生成通用RCW包装，即可适配FileOpenDialogRCW的转换要求。

• 校验接口实现一致性
  确保你定义的所有COM接口（IFileOpenDialog、IFileDialog等）的方法顺序、参数列表、GUID完全和系统原生定义一致，ICustomQueryInterface实现中对所有相关接口的查询都返回正确的指针，不要返回托管对象的默认引用。

• C++/CLI混合层兜底方案
  如果上述修改无效，可以将现有C#实现的对话框逻辑封装为C++/CLI混合程序集，对外导出纯原生COM对象，不添加任何.NET托管COM的注册表标记，.NET程序会将其完全识别为原生系统组件，不会触发类型转换问题。

• .NET场景单独适配
  针对.NET程序的特殊场景，可以额外增加托管Hook逻辑，直接HookOpenFileDialog.ShowDialog方法，跳过系统COM调用，直接弹出你的自定义对话框，这种方案兼容性更高，不需要修改COM注册逻辑。

内容的提问来源于stack exchange，提问作者Marco Gavelli