多MEX文件调用含MATLAB对象的自定义C++库报错排查

针对你遇到的MEX文件共用库时的未定义符号错误，以下是具体排查线索：

1. 验证C++标准库ABI一致性 #

错误信息中的std::__cxx11::basic_string表明代码依赖C11标准的ABI，需确保所有编译单元（MEX文件、libextern.so）使用**完全一致的C标准版本**：

• 在MATLAB中运行mex -setup C++，查看默认编译器及启用的C++标准；
• 在CMake配置中，通过CMAKE_CXX_STANDARD强制对齐该标准，同时确保编译libextern.so和MEX文件时的编译器与MATLAB的MEX编译器一致。

2. 检查MATLAB库链接完整性 #

未定义符号指向matlab::engine::MATLABEngine::feval，说明动态库未正确关联MATLAB引擎/数据库：

• 编译libextern.so时，必须链接MATLAB提供的libmatlabengine.so、libmatlabdata.so等核心库，可通过CMake的find_package(Matlab)模块自动引入，或手动指定MATLAB安装路径下的bin/glnxa64、extern/lib/glnxa64目录；
• 运行MATLAB时，确保LD_LIBRARY_PATH包含MATLAB的bin/glnxa64目录，避免运行时找不到依赖库。

3. 检查动态库的符号导出与依赖 #

使用nm -D /path/to/external/libextern.so命令查看库中的符号：

• 如果_ZN6matlab6engine12MATLABEngine5feval...标记为U（未定义），说明libextern.so编译时未链接MATLAB引擎库，需在CMake的target_link_libraries(libextern ...)中添加MATLAB引擎库依赖；
• 确保mex_common_function作为非静态成员函数已被正确导出，可在头文件中用__attribute__((visibility("default")))（Linux）声明类或函数，避免符号被隐藏。

4. 确认CMake配置的关键细节 #

• 编译libextern.so时必须启用POSITION_INDEPENDENT_CODE（PIC），添加set_target_properties(libextern PROPERTIES POSITION_INDEPENDENT_CODE ON)；
• 编译MEX文件时，必须使用MATLAB官方的MEX编译规则，例如：

  find_package(Matlab REQUIRED COMPONENTS MEX_COMPILER)
  matlab_add_mex(NAME mex_a SRC mex_a.cpp LINK_TO libextern)
  

  避免用普通add_executable命令编译MEX，否则会遗漏MATLAB的特殊链接要求。

5. 排查成员指针的初始化逻辑 #

虽然当前错误是链接层面，但需确认std::shared_ptr<matlab::engine::MATLABEngine>和ArrayFactory的赋值逻辑：

• MEX函数的生命周期为每次调用时创建MexFunction实例，若mex_aux是全局实例，需确保指针在第一次MEX调用时完成初始化，且不会在后续调用中被意外销毁；
• 在mex_common_function中添加调试输出（如打印指针地址），确认MATLAB引擎指针不为空，排除空指针操作导致的异常。

内容的提问来源于stack exchange，提问作者Bryan