使用Advanced Installer调用自定义操作时出现致命安装错误

Error code 5是访问拒绝（Access Denied），结合你描述的“干净虚拟机正常、开发机失败”的场景，以下是核心排查方向：

• 权限上下文配置错误
  开发机的UAC设置通常比干净虚拟机严格，若自定义动作的执行上下文未适配高权限需求，会导致SFXCA创建rundll32进程时权限不足：

  • 检查Advanced Installer中自定义动作的Execution Context，若动作需要修改系统资源，需设置为Local System或Elevated，而非Installer User；
  • 右键选择“以管理员身份运行”安装包，验证是否因权限触发失败。

• 开发环境的进程挂钩/拦截
  开发机常运行的调试器、代码注入工具（如Visual Studio调试器、第三方Hook框架、开发插件）可能挂钩rundll32进程，干扰SFXCA的进程创建逻辑：

  • 关闭所有开发相关后台进程（Visual Studio、调试器、注入工具等）后重试安装；
  • 手动运行rundll32.exe验证是否能正常启动，若启动异常则排查是否被篡改或挂钩。

• DLL依赖或加载冲突
  开发机GAC中可能存在与干净虚拟机版本不一致的.NET或原生依赖，导致自定义动作DLL加载失败，错误被包装为权限问题返回：

  • 用dumpbin /dependents 你的自定义动作DLL路径查看依赖库，对比干净虚拟机和开发机的依赖版本；
  • 用Process Monitor跟踪安装过程，筛选Load Image事件，查看是否有DLL加载失败的记录。

• 64位/32位平台不匹配
  Windows 11 64位系统的文件系统重定向机制，若安装包平台与自定义动作DLL位数不匹配，会导致rundll32调用路径错误：

  • 检查Advanced Installer的Product Details中Platform设置（x86/x64），确保与自定义动作DLL的编译位数一致；
  • 确认SFXCA调用的rundll32路径正确：64位安装包对应C:\Windows\System32\rundll32.exe，32位对应C:\Windows\SysWOW64\rundll32.exe。

• 本地安全策略限制
  部分开发机可能通过组策略或本地安全策略限制了rundll32的运行，或限制了安装包进程创建子进程的权限：

  • 打开本地安全策略，检查“软件限制策略”“应用程序控制策略”中是否有针对rundll32或安装包的限制规则；
  • 检查用户账户的“用户权限分配”，确认是否有“创建进程”相关的权限限制。

内容的提问来源于stack exchange，提问作者Arun Kumar