Rust cdylib线程panic致主程序崩溃，求解决方案

核心问题分析 #

从报错信息fatal runtime error: Rust cannot catch foreign exceptions和STATUS_STACK_BUFFER_OVERRUN来看，问题出在跨语言边界的异常处理不兼容，以及当前panic捕获逻辑没有覆盖完整的插件执行流程。即使使用了std::panic::catch_unwind，如果没正确包裹所有可能触发panic的代码，或未处理UnwindSafe兼容性问题，依然会导致panic逃逸到C++主程序，触发进程终止。

具体解决方案 #

1. 在Rust线程内部完整捕获panic（关键修复） #

将插件线程的所有逻辑（包括构造、加载）都包裹在std::panic::catch_unwind中，同时用AssertUnwindSafe标记裸指针操作（裸指针默认不满足UnwindSafe trait）。修改instance_thread方法：

fn instance_thread(vtable: PluginVTable) -> PluginData {
    // 用AssertUnwindSafe包裹整个逻辑，解决裸指针的UnwindSafe问题
    let result = std::panic::catch_unwind(std::panic::AssertUnwindSafe(|| {
        let ptr = (vtable.construct)();
        (vtable.load)(ptr);
        // 将插件实例指针和vtable存入PluginData，方便后续销毁
        PluginData { 
            instance_ptr: Some(ptr), 
            vtable 
        }
    }));

    match result {
        Ok(data) => data,
        Err(panic_err) => {
            eprintln!("插件线程发生panic: {:?}", panic_err);
            // panic后返回空指针，后续销毁逻辑会跳过无效实例
            PluginData { 
                instance_ptr: None, 
                vtable 
            }
        }
    }
}

2. 完善PluginData结构与Drop清理逻辑 #

修改PluginData保存插件实例指针，确保panic后也能正确销毁资源：

// 补充PluginData定义
pub struct PluginData {
    instance_ptr: Option<*mut ()>,
    vtable: PluginVTable,
}

impl Drop for PluginInstance {
    fn drop(&mut self) {
        println!("Dropping instance");
        if let Some(instance) = self.instance.take() {
            instance.thread().unpark();
            match instance.join() {
                Ok(data) => {
                    println!("插件执行结束");
                    // 仅当实例指针有效时，执行卸载和销毁
                    if let Some(ptr) = data.instance_ptr {
                        (data.vtable.unload)(ptr);
                        (data.vtable.destruct)(ptr);
                    }
                }
                Err(e) => {
                    eprintln!("插件线程panic逃逸: {:?}", e);
                }
            }
        }
    }
}

3. 让插件方法返回错误状态（可选但推荐） #

修改VTable的方法签名，让插件的load/unload返回错误码，提前在插件内部捕获panic，避免异常传播到线程逻辑：

// 修改FFI VTable定义
#[repr(C)]
#[derive(Clone, Copy)]
pub struct PluginVTable {
    pub construct: extern fn() -> *mut(),
    pub destruct: extern fn(*mut()),
    // 返回0表示成功，非0表示错误/panic
    pub load: extern fn(*mut ()) -> i32,
    pub unload: extern fn(*mut ()) -> i32
}

// 插件实现中捕获panic并返回错误码
impl Plugin for FirstPlugin {
    fn load(&mut self) -> i32 {
        println!("Load");
        std::panic::catch_unwind(|| {
            panic!("Test");
        }).map_err(|_| 1).unwrap_or(0)
    }

    // unload同理
    fn unload(&mut self) -> i32 {
        println!("Unload");
        0
    }
}

// 更新VTable的new方法，适配新的签名
impl PluginVTable {
    pub unsafe fn new<T: Plugin>() -> PluginVTable {
        PluginVTable { 
            construct: std::mem::transmute(PluginVTable::construct::<T> as *mut()), 
            destruct: std::mem::transmute(PluginVTable::destruct::<T> as *mut()), 
            load: std::mem::transmute(T::load as *mut()), 
            unload: std::mem::transmute(T::unload as *mut()) 
        }
    }
}

4. 确保编译选项与异常模型兼容 #

• 在Rust插件的Cargo.toml中明确设置panic策略为unwind：

  [profile.dev]
  panic = "unwind"
  
  [profile.release]
  panic = "unwind"
  

• Windows平台下，确保C++主程序使用SEH异常处理（默认即为该模式），避免和Rust的unwind机制冲突。

5. 设置自定义panic hook（可选） #

在插件初始化时设置自定义panic hook，避免默认的panic处理触发进程终止：

#[no_mangle]
pub extern "C" fn plugin_init() {
    std::panic::set_hook(Box::new(|panic_info| {
        eprintln!("插件panic细节: {}", panic_info);
        // 不要调用std::process::abort()，让catch_unwind能正常捕获
    }));
}

为什么之前的尝试无效？ #

• panic=abort会让panic直接终止进程，无法实现隔离；
• panic=unwind下，如果panic未被Rust代码捕获，会跨越语言边界变成C++无法处理的异常，导致进程崩溃；
• 之前的catch_unwind仅包裹了(vtable.load)(ptr)，但construct也可能触发panic，且裸指针操作的UnwindSafe问题未解决，导致捕获失效。

内容的提问来源于stack exchange，提问作者Johnny Bakker