使用C语言读取Safetensor文件时遭遇字节移位错误的求助

嘿，看起来你在C语言里读取Safetensors文件时遇到了字节移位相关的问题，我来帮你排查下大概率会踩的几个坑～

首先得明确Safetensors的文件规范：文件开头的8字节header_size是**强制用小端字节序（little-endian）**存储的，这是你代码里最可能出问题的核心点。

你现在直接用fread把8字节读到uint64_t变量里，如果你的系统是大端架构（比如部分ARM设备、PowerPC），或者没做字节序转换，就会把小端存储的数据按系统默认字节序解析，导致得到的header_size完全错误——比如原本应该是1024，结果解析成一个超大的数，后面读header的时候自然就会出现字节移位、数据乱码甚至内存越界的问题。

另外还有个容易忽略的细节：打开文件时一定要用二进制模式（也就是fopen的第二个参数传"rb"），如果用了文本模式"r"，在Windows系统下会自动把换行符\n转换成\r\n，导致文件指针的位置被意外移位，直接破坏整个二进制数据的读取节奏。

给你调整后的代码示例，解决这两个核心问题：

第一步：实现跨平台的小端转主机字节序函数 #

#include <stdint.h>
#include <byteswap.h>
#include <stdio.h>
#include <stdlib.h>

// 把小端字节序的64位整数转换成主机字节序
uint64_t le64_to_host(uint64_t le_val) {
    #if __BYTE_ORDER__ == __ORDER_LITTLE_ENDIAN__
        // 本身就是小端系统，直接返回
        return le_val;
    #else
        // 大端系统，执行字节交换
        return bswap_64(le_val);
    #endif
}

第二步：正确读取header_size和header内容 #

int main() {
    FILE *fp = fopen("your_model.safetensors", "rb");
    if (!fp) {
        fprintf(stderr, "Failed to open file\n");
        return 1;
    }

    // 读取小端格式的header_size
    uint64_t header_size_le = 0;
    int read_count = fread(&header_size_le, sizeof(uint64_t), 1, fp);
    if (read_count != 1) {
        fprintf(stderr, "Failed to read header size: unexpected file length\n");
        fclose(fp);
        return 1;
    }

    // 转换为主机字节序的正确大小
    uint64_t header_size = le64_to_host(header_size_le);

    // 验证header_size的合理性，避免异常值导致内存问题
    if (header_size == 0 || header_size > 1024 * 1024 * 10) { // 限制最大10MB，可根据场景调整
        fprintf(stderr, "Invalid header size: %lu\n", header_size);
        fclose(fp);
        return 1;
    }

    // 分配内存并读取header字符串
    char *header_str = malloc(header_size + 1);
    if (!header_str) {
        fprintf(stderr, "Out of memory for header\n");
        fclose(fp);
        return 1;
    }

    read_count = fread(header_str, 1, header_size, fp);
    if (read_count != header_size) {
        fprintf(stderr, "Failed to read full header: read %d bytes, expected %lu\n", read_count, header_size);
        free(header_str);
        fclose(fp);
        return 1;
    }
    // 手动添加字符串终止符，确保可以正常处理JSON格式的header
    header_str[header_size] = '\0';

    // 这里就可以正常处理header_str了（比如用JSON库解析）
    printf("Header content preview: %.100s\n", header_str);

    // 记得释放资源
    free(header_str);
    fclose(fp);
    return 0;
}

最后再给你几个小提醒：

• 如果你用的是自定义的MALLOC宏，要确保它和free是配对的，避免内存泄漏
• 解析header的时候，因为header是JSON格式，建议用cJSON或者其他轻量JSON库来解析，手动解析容易出错
• 读取完header后，后面的张量数据也是按小端存储的，读取的时候同样要注意字节序转换

内容来源于stack exchange