Rust中使用dlopen获取函数指针后调用触发Segfault问题排查

核心问题原因 #

• 调用约定不匹配：你给动态库函数用了extern "Rust"，这是Rust私有调用约定，而dlfcn.h的POSIX接口默认按C调用约定处理符号。两种调用约定的栈帧布局、参数传递规则完全不同，直接调用会破坏栈结构，触发段错误。
• 返回类型不兼容：Rust的String是包含指针、长度、容量的自定义结构体，C标准中没有对应类型。即使调用约定没问题，C层面（dlopen属于C生态接口）也无法正确解析这个返回值，会导致非法内存访问。

修复步骤 #

1. 统一调用约定为C兼容
   把动态库中的函数改成extern "C"，同时返回C能识别的类型（比如带\0终止符的字符串指针）：

   #[no_mangle]
   extern "C" fn hello_world() -> *const u8 {
       // 手动添加\0，符合C字符串格式要求
       "Hello World !\0".as_ptr()
   }
   

2. 二进制程序中正确声明函数指针类型
   在二进制侧，必须将获取到的符号指针转换成extern "C"的函数类型：

   // 定义匹配的函数指针类型
   type HelloWorldFn = unsafe extern "C" fn() -> *const u8;
   
   // 获取符号后转换并调用
   unsafe {
       let hello_fn: HelloWorldFn = std::mem::transmute(symbol_ptr);
       let c_str = hello_fn();
       println!("{}", std::ffi::CStr::from_ptr(c_str).to_str().unwrap());
   }
   

3. 动态内存的额外处理（可选）
   如果需要返回动态分配的字符串，必须在动态库中提供对应的释放函数，避免内存泄漏：

   #[no_mangle]
   extern "C" fn hello_world() -> *mut u8 {
       let s = String::from("Hello World !");
       // 将String转为原始指针，转移所有权
       s.into_raw().cast()
   }
   
   #[no_mangle]
   extern "C" fn free_hello_string(s: *mut u8) {
       unsafe {
           // 回收原始指针重新构造String，自动释放内存
           let _ = String::from_raw(s.cast());
       }
   }
   

   二进制程序调用完hello_world后，要调用free_hello_string释放内存。

内容的提问来源于stack exchange，提问作者Quentin