全局::operator new重载在动态库环境下失效如何解决？

问题背景 #

C标准允许在全局作用域重定义::operator new和::operator delete，以此替换全局内存分配器，设计初衷是支持多目标文件链接时使用自定义版本。但在Linux、macOS、Windows等主流操作系统默认采用动态C库的场景中，会出现主程序重载的operator new无法被标准库（如std::string）构造函数调用的问题——标准库代码已提前绑定自身的operator new版本，示例代码如下：

// 不会调用重载的::operator new，构造函数已绑定stdc++库中的版本
std::string str="012345678901234567890123456789";

最小复现示例 #

CMakeLists.txt

# mkdir build
# cd build
# cmake ..
# make
# ./str
# output is: 123456789012345678901234567890
cmake_minimum_required(VERSION 3.13)
project(Dynlibs)
set(CMAKE_WINDOWS_EXPORT_ALL_SYMBOLS ON)
add_executable(str str.cpp)
add_library(res SHARED res.cpp)
target_link_libraries(str res)
set_property(TARGET str PROPERTY CXX_STANDARD 11)
set_property(TARGET str PROPERTY CXX_STANDARD_REQUIRED ON)
set_property(TARGET str PROPERTY CXX_EXTENSIONS OFF)

res.cpp

#include <string>
std::string res();

std::string res()
{
    const char *tst="123456789012345678901234567890";
    return tst;
}

str.cpp

#include <cstdio>
#include <cstdlib>
#include <string>

// no inline, required by [replacement.functions]/3
void* operator new(std::size_t sz)
{
    std::printf("1) new(size_t), size = %zu\n", sz);
    if (sz == 0)
        ++sz; // avoid std::malloc(0) which may return nullptr on success

    if (void *ptr = std::malloc(sz))
        return ptr;

    throw std::bad_alloc{}; // required by [new.delete.single]/3
}

void operator delete(void* ptr) noexcept
{
    std::puts("3) delete(void*)");
    std::free(ptr);
}

extern std::string res();

int main()
{
    std::string str=res();
    std::puts( str.c_str() );
}

多平台测试结果 #

• macOS：重载完全失效，动态库中的std::string构造不会调用主程序的operator new
• Linux：重载有效，动态库会优先使用主程序的符号
• Windows：operator new重载失效，但operator delete有效

解决办法 #

针对不同平台的动态链接器特性，可以通过以下方式强制优先绑定主程序中的同名函数：

Linux平台 #

• 编译主程序时添加-Wl,--export-dynamic链接选项，让主程序导出所有符号，这样动态库加载时会优先从主程序查找未定义的符号。在CMake中可以给主程序目标添加：

  target_link_options(str PRIVATE -Wl,--export-dynamic)
  

macOS平台 #

• macOS动态链接器默认不会从主程序导入符号到动态库，需要编译动态库时使用-undefined dynamic_lookup选项，允许动态库的未定义符号在运行时从主程序中查找。在CMake中给动态库目标添加：

  target_link_options(res PRIVATE -undefined dynamic_lookup)
  

Windows平台 #

• Windows下动态库无法自动导入主程序的符号，需要显式导出主程序的operator new/delete，并在动态库中导入：
  1. 修改str.cpp，添加导出声明：

     #ifdef _WIN32
     #define EXPORT __declspec(dllexport)
     #else
     #define EXPORT
     #endif
     
     EXPORT void* operator new(std::size_t sz)
     {
         std::printf("1) new(size_t), size = %zu\n", sz);
         if (sz == 0)
             ++sz;
         if (void *ptr = std::malloc(sz))
             return ptr;
         throw std::bad_alloc{};
     }
     
     EXPORT void operator delete(void* ptr) noexcept
     {
         std::puts("3) delete(void*)");
         std::free(ptr);
     }
     

  2. 修改res.cpp，添加导入声明：

     #ifdef _WIN32
     #define IMPORT __declspec(dllimport)
     #else
     #define IMPORT
     #endif
     
     IMPORT void* operator new(std::size_t sz);
     IMPORT void operator delete(void* ptr) noexcept;
     
     #include <string>
     std::string res();
     
     std::string res()
     {
         const char *tst="123456789012345678901234567890";
         return tst;
     }
     

通用建议 #

• 优先使用自定义分配器替代全局operator重载，比如实现符合std::allocator接口的分配器类，显式传递给std::string、std::vector等容器，这种方式跨平台性更强，且避免了动态链接符号绑定的问题。
• 如果必须使用全局重载，确保主程序和所有动态库使用相同版本的C++标准库，避免因库版本差异导致的符号不兼容。

内容的提问来源于stack exchange，提问作者Vladlen