VB.net WPF调用Rust自定义DLL遇PInvoke返回变体限制错误求解决

一、当前错误的直接修复 #

错误根源是VB.NET中NativeMethods里的testfunc声明为Function但未指定返回类型，VB默认将其视为返回Variant类型，而PInvoke不允许返回Variant。同时Rust的testfunc是无返回值的（对应C的void），且Rust的extern "C"默认使用Cdecl调用约定，需在VB声明中明确指定。

修复后的VB.NET函数声明：

Imports System.Runtime.InteropServices
Namespace classes
    Public Class NativeMethods
        <DllImport(".\dependencies\testCustomDLL.dll", CallingConvention:=CallingConvention.Cdecl)>
        Public Shared Sub testfunc()
        End Sub
    End Class
End Namespace

二、实现VB.NET与Rust的字符串传递与返回 #

针对你传递字符串并返回处理结果的最终目标，提供两种可靠方案：

方案1：固定缓冲区传递（适合短字符串） #

提前在VB.NET端分配内存缓冲区，Rust端写入处理后的结果，避免内存管理复杂问题。

Rust端代码修改：

use interoptopus::{ffi_function, Inventory, InventoryBuilder, function};
use std::os::raw::{c_char, c_int};
use std::ffi::CStr;

#[ffi_function]
#[no_mangle]
pub extern "C" fn process_string(input: *const c_char, output: *mut c_char, output_len: c_int) -> c_int {
    // 解析输入字符串，处理空指针情况
    let input_str = unsafe { 
        if input.is_null() { "" } 
        else { CStr::from_ptr(input).to_str().unwrap_or("") }
    };
    
    // 自定义字符串处理逻辑，示例为添加前缀
    let result = format!("Processed: {}", input_str);
    
    // 将结果写入缓冲区，预留终止符位置
    let bytes = result.as_bytes();
    let copy_len = bytes.len().min((output_len - 1) as usize);
    
    unsafe {
        std::ptr::copy_nonoverlapping(bytes.as_ptr(), output as *mut u8, copy_len);
        *output.add(copy_len) = 0; // 添加C字符串终止符
    }
    
    // 返回实际写入的字符数（不含终止符）
    copy_len as c_int
}

pub fn my_inventory() -> Inventory {
    InventoryBuilder::new()
        .register(function!(process_string))
        .inventory()
}

VB.NET调用代码：

Imports System.Runtime.InteropServices
Namespace classes
    Public Class NativeMethods
        <DllImport(".\dependencies\testCustomDLL.dll", CallingConvention:=CallingConvention.Cdecl, CharSet:=CharSet.Ansi)>
        Public Shared Function process_string(input As String, output As IntPtr, output_len As Integer) As Integer
        End Function
    End Class
End Namespace

' 调用示例
Private Sub B_process_Click(sender As Object, e As RoutedEventArgs) Handles B_process.Click
    Dim inputStr = "Hello from VB.NET"
    Dim bufferSize = 256 ' 根据业务需求设置足够大的缓冲区
    Dim buffer = Marshal.AllocHGlobal(bufferSize)
    
    Try
        Dim resultLen = NativeMethods.process_string(inputStr, buffer, bufferSize)
        Dim resultStr = Marshal.PtrToStringAnsi(buffer)
        MessageBox.Show(resultStr)
    Finally
        Marshal.FreeHGlobal(buffer) ' 必须手动释放内存
    End Try
End Sub

方案2：动态内存分配（适合长/可变长度字符串） #

Rust端分配内存并返回字符串指针，VB.NET使用后调用Rust提供的释放函数回收内存。

Rust端代码：

use interoptopus::{ffi_function, Inventory, InventoryBuilder, function};
use std::os::raw::c_char;
use std::ffi::{CStr, CString};

#[ffi_function]
#[no_mangle]
pub extern "C" fn process_string_dynamic(input: *const c_char) -> *mut c_char {
    let input_str = unsafe { 
        if input.is_null() { "" } 
        else { CStr::from_ptr(input).to_str().unwrap_or("") }
    };
    
    let result = format!("Processed dynamic: {}", input_str);
    // 将Rust字符串转为堆分配的C字符串，返回指针
    CString::new(result).unwrap().into_raw()
}

#[ffi_function]
#[no_mangle]
pub extern "C" fn free_string(ptr: *mut c_char) {
    if !ptr.is_null() {
        unsafe { CString::from_raw(ptr) }; // 自动释放内存
    }
}

pub fn my_inventory() -> Inventory {
    InventoryBuilder::new()
        .register(function!(process_string_dynamic))
        .register(function!(free_string))
        .inventory()
}

VB.NET声明与调用：

Imports System.Runtime.InteropServices
Namespace classes
    Public Class NativeMethods
        <DllImport(".\dependencies\testCustomDLL.dll", CallingConvention:=CallingConvention.Cdecl, CharSet:=CharSet.Ansi)>
        Public Shared Function process_string_dynamic(input As String) As IntPtr
        End Function

        <DllImport(".\dependencies\testCustomDLL.dll", CallingConvention:=CallingConvention.Cdecl)>
        Public Shared Sub free_string(ptr As IntPtr)
        End Sub
    End Class
End Namespace

' 调用示例
Private Sub B_process_dynamic_Click(sender As Object, e As RoutedEventArgs) Handles B_process_dynamic.Click
    Dim inputStr = "Dynamic test from VB"
    Dim resultPtr = NativeMethods.process_string_dynamic(inputStr)
    
    Try
        If resultPtr <> IntPtr.Zero Then
            Dim resultStr = Marshal.PtrToStringAnsi(resultPtr)
            MessageBox.Show(resultStr)
        End If
    Finally
        NativeMethods.free_string(resultPtr) ' 必须调用Rust的释放函数
    End Try
End Sub

三、额外注意事项 #

• 确保Rust DLL的编译架构（x86/x64）与VB.NET项目一致，否则会出现加载失败。
• 字符串编码：示例使用ANSI编码，若需Unicode，可改用CharSet.Unicode，Rust端需引入widestring crate处理宽字符。
• 错误处理：实际项目中需添加空指针检查、字符串解析失败处理等逻辑，避免崩溃。

内容的提问来源于stack exchange，提问作者PDT352