macOS下dlopen加载新创建文件耗时异常过长问题问询

在macOS系统中，使用dlopen加载刚创建的文件时，速度远慢于加载磁盘上已存在的相同文件。以下是完整演示程序：

库代码 #

__attribute__((visibility("default"))) int addfunc(int a, int b)
{
    return a + b;
} 

该库仅包含一个加法函数，无外部依赖。编译命令：

gcc -fPIC -dynamiclib -o mylib.dylib lib.c

测试代码 #

#include <stdio.h>
#include <stdlib.h>
#include <dlfcn.h>
#include <sys/time.h>

static void subtime(struct timeval *dest, struct timeval *src)
{
    if(dest->tv_usec < src->tv_usec) {
        dest->tv_sec = dest->tv_sec - src->tv_sec - 1;
        dest->tv_usec = 1000000 - (src->tv_usec - dest->tv_usec);
    } else {
        dest->tv_sec = dest->tv_sec - src->tv_sec;
        dest->tv_usec = dest->tv_usec - src->tv_usec;
    }
}

static void testcase(char *file)
{
    void *lib;
    int (*addfunc)(int a, int b);
    struct timeval oldt, newt;
    
    gettimeofday(&oldt, NULL);
        
    lib = dlopen(file, RTLD_LAZY);
    
    gettimeofday(&newt, NULL);
    subtime(&newt, &oldt);
    
    printf("dlopen() duration: %d %d\n", (int) newt.tv_sec, (int) newt.tv_usec);

    addfunc = dlsym(lib, "addfunc");

    printf("Testing lib: %d\n", addfunc(5, 6) == 11);

    dlclose(lib);
}       
    
int main(int argc, char *argv[])
{
    char *buf;
    FILE *fp;
    int size;
    
    printf("Now trying dlopen() from regular file...\n");
    testcase("mylib.dylib");
    
    fp = fopen("mylib.dylib", "rb");
    fseek(fp, 0, SEEK_END);
    size = (int) ftell(fp);
    fseek(fp, 0, SEEK_SET);
    
    buf = malloc(size);
    fread(buf, size, 1, fp);
    fclose(fp);
    
    fp = fopen("tmpfile", "wb");
    fwrite(buf, size, 1, fp);
    fclose(fp);
    free(buf);
    
    printf("Now trying dlopen() from newly created file...\n");
    testcase("tmpfile");

    remove("tmpfile");
    
    return 0;
} 

测试代码编译命令：

gcc -o loader loader.c

测试步骤及结果 #

• 直接加载mylib.dylib，耗时不足500微秒；
• 复制mylib.dylib为新文件tmpfile后加载，耗时至少200000微秒，远慢于前者。

当前环境为纯净macOS 13.6.7，未安装杀毒软件，慢加载现象由系统本身导致。

原因分析 #

1. 文件系统元数据缓存差异：已存在的文件元数据（如磁盘块映射、属性信息）已被系统缓存，dlopen时可直接读取缓存；新创建的文件元数据未进入缓存，系统需要重新扫描磁盘定位文件数据，额外消耗时间。
2. Gatekeeper与代码签名验证：macOS会对动态库执行完整性检查，即使无显式签名，系统也会生成文件哈希并验证。新创建的文件会触发Gatekeeper的额外安全检查（针对新生成文件的恶意程序防范逻辑），而已存在的文件可能已完成验证，结果被缓存，这是耗时差异的核心原因。

优化方案 #

• 预加载文件到缓存：创建临时文件后，先通过open+close或mmap读取一次文件内容，让系统将文件元数据和内容缓存到内存，之后再调用dlopen，可大幅缩短加载时间。
• 添加自签名（测试环境）：使用codesign给临时文件添加自签名，绕过部分Gatekeeper检查：

  codesign -s - tmpfile
  

  注意：该方法仅适合开发测试，正式环境需使用苹果认可的合法签名。
• 内存加载动态库：直接将库内容加载到内存，通过dlopen的内存加载方式（macOS支持RTLD_MEMORY标志配合Mach-O内存镜像），完全绕过磁盘文件的验证步骤，适合对性能要求极高的场景。
• 预创建并缓存文件：如果有重复加载临时库的需求，可提前创建文件并预加载到系统缓存，避免重复触发验证逻辑。

内容的提问来源于stack exchange，提问作者Andreas