如何通过VTable Hack将COM类方法替换为标准模块方法？

这个问题我之前折腾VBA COM底层时也踩过一模一样的坑——替换类方法没问题，但换成标准模块函数就直接崩溃，核心原因就是调用约定不匹配和COM方法签名的细节没抠到位。VBA类的实例方法遵循COM标准的__stdcall调用约定，而标准模块函数默认是__cdecl，这俩的栈处理逻辑完全相反，直接导致调用栈失衡触发崩溃。另外，类方法隐含的this指针和HRESULT返回值的处理也得严格对齐，容不得半点马虎。

一、先搞懂正确的标准模块函数签名规则 #

核心三点必须遵守 #

1. 强制指定StdCall调用约定：这是最关键的一点，VBA类方法是COM标准的__stdcall，标准模块函数必须显式声明用这个约定，否则调用栈直接乱掉。
2. 第一个参数必须是ByVal的LongPtr类型this指针：COM传递的是原始接口指针，不是VBA的对象引用，所以不能用ByRef类对象，用LongPtr才能兼容32/64位VBA。
3. 返回值必须是Long类型（对应COM的HRESULT）：VBA类方法的实际返回值是HRESULT，你写的类方法的返回内容（比如Sub/Function的返回值）会被作为最后一个[out, retval]参数传递，这点很容易搞错。

分场景的签名匹配示例 #

我给你列几种常见的类方法场景，对应的标准模块函数签名直接套用就行：

场景1：无参数的Sub方法

原类方法（比如Class1里的Meow）：

Public Sub Meow()
    Debug.Print "Class1 Meow"
End Sub

对应的标准模块替换方法：

Public Function Meow_Replacement(ByVal this As LongPtr) As Long
    ' 可选：把this指针转成VBA对象操作
    Dim obj As Class1
    Set obj = ObjPtrToObj(this)
    
    Debug.Print "Module Meow Replacement for " & TypeName(obj)
    Meow_Replacement = 0 ' 返回S_OK表示方法执行成功
End Function
' 必须加这个属性指定StdCall调用约定，否则还是会崩
Attribute Meow_Replacement.VB_Invoke_Func = vbFuncInvoke_FastStdCall

场景2：带参数的Function方法

原类方法（比如Class1里的Woof）：

Public Function Woof(ByVal message As String) As Integer
    Debug.Print "Class1 Woof: " & message
    Woof = Len(message)
End Function

对应的标准模块替换方法：

Public Function Woof_Replacement(ByVal this As LongPtr, ByVal message As String, ByRef retval As Integer) As Long
    Debug.Print "Module Woof Replacement: " & message
    retval = Len(message) * 2 ' 自定义返回值
    Woof_Replacement = 0 ' 返回S_OK
End Function
Attribute Woof_Replacement.VB_Invoke_Func = vbFuncInvoke_FastStdCall

这里要注意：原Function的返回值Integer被作为最后一个ByRef参数传递，因为COM会把[out, retval]参数放在参数列表的末尾，这是COM的标准规则。

场景3：带ByRef参数的Sub方法

原类方法（比如Class1里的Bark）：

Public Sub Bark(ByRef count As Long)
    count = count + 1
    Debug.Print "Class1 Bark: Count is " & count
End Sub

对应的标准模块替换方法：

Public Function Bark_Replacement(ByVal this As LongPtr, ByRef count As Long) As Long
    count = count + 2
    Debug.Print "Module Bark Replacement: Count is " & count
    Bark_Replacement = 0
End Function
Attribute Bark_Replacement.VB_Invoke_Func = vbFuncInvoke_FastStdCall

二、辅助工具：把this指针转成VBA对象 #

如果你需要在替换方法里操作原类实例，可以用这个函数把this指针转换成VBA对象：

Private Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" (Destination As Any, Source As Any, ByVal Length As LongPtr)

Public Function ObjPtrToObj(ByVal ptr As LongPtr) As Object
    Dim obj As Object
    CopyMemory obj, ptr, Len(ptr)
    Set ObjPtrToObj = obj
    ' 清除临时变量的指针，避免悬空引用导致的潜在问题
    CopyMemory obj, 0&, Len(ptr)
End Function

三、VTable替换的关键注意事项 #

1. 64位兼容性：所有指针操作必须用LongPtr，绝对不能用Long，否则在64位VBA里会截断指针，直接崩溃。
2. VTable条目索引：类的VTable前3个条目是IUnknown的QueryInterface、AddRef、Release，你的自定义方法从索引3开始（如果是第一个自定义方法的话）。
3. 别递归调用原方法：如果在替换方法里不小心调用了原类的同名方法，会触发无限递归，直接栈溢出。
4. 模块函数必须是Public：只有Public的函数才能被VTable找到地址，Private的话会找不到导致崩溃。

四、完整测试示例 #

替换VTable条目的核心代码 #

Private Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" (Destination As Any, Source As Any, ByVal Length As LongPtr)

Public Sub ReplaceVTableEntry()
    Dim obj As New Class1
    Dim vTablePtr As LongPtr
    Dim methodPtr As LongPtr
    
    ' 获取类实例的VTable指针
    CopyMemory vTablePtr, ByVal ObjPtr(obj), Len(vTablePtr)
    
    ' 获取标准模块替换方法的地址（索引3对应第一个自定义方法Meow）
    methodPtr = AddressOf Meow_Replacement
    CopyMemory ByVal vTablePtr + 3 * Len(vTablePtr), methodPtr, Len(vTablePtr)
    
    ' 测试调用，应该输出模块里的替换内容
    obj.Meow
End Sub

五、为什么你之前的签名会崩溃？ #

• 用ByRef meObj As Class1：COM传递的是原始接口指针，不是VBA的对象引用，直接转成对象会导致类型不匹配，内存访问出错。
• 用Sub而不是Function：类方法的COM签名必须返回HRESULT，用Sub的话没有返回值，会导致栈处理错误。
• 没指定StdCall调用约定：默认的cdecl是调用者清理栈，而stdcall是被调用者清理栈，两者不匹配直接导致栈损坏，触发崩溃。

内容的提问来源于stack exchange，提问作者Greedo