如何为IO钩子预加载库生成调用回溯？

针对你遇到的递归调用崩溃、符号信息不全问题，可通过以下方案解决：

一、解决回溯时的递归调用问题 #

核心思路是区分被测程序触发的open调用和回溯代码触发的open调用，避免后者进入hook逻辑导致递归栈溢出。

实现方式：线程局部递归标记 #

利用线程局部存储（TLS）记录当前线程是否处于回溯流程中，进入hook的open时先检查标记：

• 若处于回溯流程：直接调用原始open函数，不执行日志、回溯逻辑
• 若未处于回溯流程：设置标记，执行日志和回溯，完成后清除标记

示例代码：

#include <pthread.h>
#include <dlfcn.h>
#include <stdio.h>
#include <stdlib.h>

// 存储原始open函数指针
static int (*original_open)(const char *pathname, int flags, mode_t mode) = NULL;
// 线程局部递归标记的key
static pthread_key_t recursion_key;

// 库初始化函数，加载时自动执行
__attribute__((constructor))
void init_hook() {
    // 获取原始libc的open函数
    original_open = dlsym(RTLD_NEXT, "open");
    if (!original_open) {
        fprintf(stderr, "Failed to get original open: %s\n", dlerror());
        exit(EXIT_FAILURE);
    }
    // 初始化线程局部存储key
    pthread_key_create(&recursion_key, NULL);
}

int open(const char *pathname, int flags, mode_t mode) {
    // 检查当前线程是否处于递归调用（回溯过程）
    int *in_recursion = pthread_getspecific(recursion_key);
    if (in_recursion && *in_recursion) {
        return original_open(pathname, flags, mode);
    }

    // 设置递归标记
    int flag = 1;
    pthread_setspecific(recursion_key, &flag);

    // 记录open调用信息
    printf("[HOOK] open: path=%s, flags=0x%x\n", pathname, flags);
    // 生成回溯日志
    print_stack_trace();

    // 清除递归标记
    pthread_setspecific(recursion_key, NULL);

    // 调用原始open函数
    return original_open(pathname, flags, mode);
}

二、解决符号信息不全问题 #

基于execinfo.h结合dladdr实现更完善的符号解析，替代单纯的backtrace_symbols：

增强版回溯函数实现 #

#include <execinfo.h>
#include <dlfcn.h>

void print_stack_trace() {
    void *trace_buffer[20]; // 存储回溯地址，可根据需求调整大小
    int trace_count = backtrace(trace_buffer, 20);
    char **raw_symbols = backtrace_symbols(trace_buffer, trace_count);

    if (!raw_symbols) {
        fprintf(stderr, "backtrace_symbols failed\n");
        return;
    }

    printf("Stack Trace:\n");
    // 跳过前2帧（当前print_stack_trace和hook的open函数）
    for (int i = 2; i < trace_count; i++) {
        Dl_info dl_info;
        if (dladdr(trace_buffer[i], &dl_info)) {
            if (dl_info.dli_sname) {
                // 计算函数内偏移量
                unsigned long offset = (unsigned long)trace_buffer[i] - (unsigned long)dl_info.dli_saddr;
                printf("  #%d %p %s + 0x%lx (%s)\n", 
                       i-2, trace_buffer[i], dl_info.dli_sname, offset, dl_info.dli_fname);
            } else {
                printf("  #%d %p %s\n", i-2, trace_buffer[i], raw_symbols[i]);
            }
        } else {
            printf("  #%d %p %s\n", i-2, trace_buffer[i], raw_symbols[i]);
        }
    }

    free(raw_symbols);
}

额外优化 #

• 编译目标程序和hook库时添加-g参数保留调试信息，符号解析会更准确
• 若发布版本需要剥离调试信息，可通过objcopy将符号表分离为单独文件，运行时指定符号路径（需配合dladdr或自定义符号加载逻辑）

三、若坚持使用libunwind/libbacktrace #

只需在回溯函数执行前后设置/清除递归标记，即可避免递归调用问题：

• 进入print_stack_trace时设置标记，退出时清除
• 此时libunwind调用的open会被hook拦截，检测到标记后直接调用原始函数，不会触发递归

内容的提问来源于stack exchange，提问作者Charles