为何拦截open系统调用无效？如何实现内存文件系统重定向？

一、拦截失效的核心原因 #

• 函数原型不匹配：open/openat等函数的可变参数处理错误，或参数类型、返回值与Glibc标准原型不一致，导致动态链接器无法完成符号替换。
• Glibc符号版本冲突：Ubuntu 22.04使用的Glibc（2.35+）对部分函数添加了版本符号（如openat@GLIBC_2.28），若拦截库未声明对应版本，动态链接器会优先加载Glibc原生函数。
• 编译选项错误：未使用-fPIC生成位置无关代码，或未链接dl库导致无法获取原函数指针。

二、解决拦截生效的步骤 #

1. 确保拦截函数原型完全匹配 #

使用正确的函数原型，处理可变参数（如openat的O_CREAT需要mode参数），并通过dlsym(RTLD_NEXT)获取原函数指针：

#define _GNU_SOURCE
#include <stdio.h>
#include <dlfcn.h>
#include <fcntl.h>
#include <stdarg.h>
#include <unistd.h>

// 保存原函数指针
static int (*original_open)(const char*, int, mode_t) = NULL;
static int (*original_open64)(const char*, int, mode_t) = NULL;
static int (*original_openat)(int, const char*, int, ...) = NULL;

// 初始化函数，程序加载时执行
__attribute__((constructor))
void init_hook() {
    dlerror(); // 清除之前的错误
    original_open = dlsym(RTLD_NEXT, "open");
    original_open64 = dlsym(RTLD_NEXT, "open64");
    original_openat = dlsym(RTLD_NEXT, "openat");
    
    char* err = dlerror();
    if (err) {
        fprintf(stderr, "Failed to resolve original functions: %s\n", err);
        _exit(1);
    }
}

// 拦截open
int open(const char* pathname, int flags, mode_t mode) {
    fprintf(stderr, "[HOOKED] open: %s\n", pathname);
    return original_open(pathname, flags, mode);
}

// 拦截open64
int open64(const char* pathname, int flags, mode_t mode) {
    fprintf(stderr, "[HOOKED] open64: %s\n", pathname);
    return original_open64(pathname, flags, mode);
}

// 拦截openat，处理可变参数
int openat(int dirfd, const char* pathname, int flags, ...) {
    va_list args;
    mode_t mode = 0;
    
    if (flags & O_CREAT) {
        va_start(args, flags);
        mode = va_arg(args, mode_t);
        va_end(args);
    }
    
    fprintf(stderr, "[HOOKED] openat: dirfd=%d, path=%s\n", dirfd, pathname);
    
    // 调用原函数，根据是否有O_CREAT传递对应参数
    if (flags & O_CREAT) {
        return original_openat(dirfd, pathname, flags, mode);
    } else {
        return original_openat(dirfd, pathname, flags);
    }
}

2. 处理Glibc符号版本 #

创建版本脚本（如version.script），显式声明要导出的符号：

{
    global: open; open64; openat;
    local: *;
};

编译共享库时指定版本脚本：

gcc -shared -fPIC -ldl -Wl,--version-script=version.script hook.c -o hook.so

3. 验证加载与运行 #

运行程序时确保LD_PRELOAD正确加载拦截库：

LD_PRELOAD=./hook.so ./your_test_program

可通过LD_DEBUG=libs ./your_test_program查看共享库加载过程，确认hook.so被优先加载。

三、为什么strace能捕获但拦截失效？ #

• strace通过ptrace系统调用追踪内核态的系统调用入口，无论用户态程序是调用Glibc包装函数，还是直接通过syscall指令发起调用，只要进入内核就会被捕获。
• LD_PRELOAD仅替换用户态Glibc导出的函数符号，如果程序调用的是未经过Glibc的系统调用（如直接syscall），或拦截函数符号不匹配（原型/版本错误），动态链接器不会替换，自然无法拦截。

四、内存文件系统重定向的实现思路 #

针对目标文件，用memfd_create创建匿名内存fd并绑定内存缓冲区：

1. 判断目标文件：在拦截函数中检查路径是否为需要虚拟化的文件（如特定前缀、配置列表）。
2. 创建memfd：

   int memfd = memfd_create("virtual_file", MFD_CLOEXEC);
   if (memfd == -1) {
       perror("memfd_create failed");
       return -1;
   }
   

3. 写入缓冲区内容：

   // 假设buffer是你的内存缓冲区，size是缓冲区大小
   if (write(memfd, buffer, size) != size) {
       perror("write to memfd failed");
       close(memfd);
       return -1;
   }
   

4. 重置文件指针：

   lseek(memfd, 0, SEEK_SET);
   

5. 返回memfd：直接返回该fd给调用者，跳过原open/openat函数的调用。
6. 处理元数据：若需要支持fstat等操作，可通过ftruncate(memfd, size)设置文件大小，确保元数据正确。

内容的提问来源于stack exchange，提问作者Vadim Kantorov