LibTorch加载二进制张量文件时出现段错误问题求助

问题场景 #

• Python侧：生成0到1000000的float32张量，重塑为1000×1000后导出为二进制文件tensor.bin
• C++侧：定义Foo类，包含两个私有torch::Tensor成员bar_和baz_，构造函数中通过LoadFromBinary函数加载tensor.bin到成员变量
• 异常表现：
  • 直接加载到baz_，访问时触发段错误
  • 先加载到bar_再加载到baz_，仅baz_可正常访问，bar_访问仍触发段错误；调换加载顺序结果一致

问题根源 #

你在Python中直接导出张量的原始二进制数据，但LibTorch的torch::Tensor需要完整的张量元信息（形状、数据类型、设备、内存布局等）才能正确管理内存。直接读取裸二进制数据到Tensor对象时，Tensor的内部元数据未正确初始化，导致内存访问非法，引发段错误。

当重复加载到不同成员时，后加载的Tensor可能偶然覆盖了临时内存区域，让它看起来能工作，但前一个Tensor的元数据已经失效，访问必然出错。

修复步骤 #

1. 修正Python导出代码 #

不要直接保存张量的原始二进制数据，改用torch.save()保存完整的张量对象，保留所有必要元信息：

import torch

# 生成目标张量
tensor = torch.arange(0, 1000000, dtype=torch.float32).reshape(1000, 1000)
# 保存完整张量对象（官方推荐方式）
torch.save(tensor, "tensor.pt")

2. 修正C++加载逻辑 #

在C++中使用torch::load()加载完整的张量文件，替代自定义的LoadFromBinary：

#include <torch/torch.h>
#include <iostream>

class Foo {
private:
    torch::Tensor bar_;
    torch::Tensor baz_;

public:
    Foo() {
        // 加载完整张量到成员变量
        torch::load(bar_, "tensor.pt");
        torch::load(baz_, "tensor.pt");
    }

    // 测试张量访问
    void test_access() {
        float bar_val = bar_[0][0].item<float>();
        float baz_val = baz_[0][0].item<float>();
        std::cout << "bar_[0][0]: " << bar_val << std::endl;
        std::cout << "baz_[0][0]: " << baz_val << std::endl;
    }
};

int main() {
    Foo foo;
    foo.test_access();
    return 0;
}

3. 若必须使用裸二进制数据（不推荐） #

如果因特殊需求必须保存原始二进制数据，需手动在C++中恢复张量元信息，确保Tensor对象正确初始化：

# Python侧导出裸数据+元信息
import torch
import json

tensor = torch.arange(0, 1000000, dtype=torch.float32).reshape(1000, 1000)
# 保存原始二进制数据
with open("tensor.bin", "wb") as f:
    f.write(tensor.numpy().tobytes())
# 保存张量元信息（形状、数据类型）
meta = {
    "shape": list(tensor.shape),
    "dtype": str(tensor.dtype)
}
with open("tensor_meta.json", "w") as f:
    json.dump(meta, f)

// C++侧加载裸数据并手动构建Tensor
#include <torch/torch.h>
#include <fstream>
#include <nlohmann/json.hpp>

using json = nlohmann::json;

torch::Tensor LoadFromBinary(const std::string& bin_path, const std::string& meta_path) {
    // 读取元信息
    std::ifstream meta_file(meta_path);
    json meta;
    meta_file >> meta;
    std::vector<int64_t> shape = meta["shape"].get<std::vector<int64_t>>();
    // 对应Python的float32
    torch::ScalarType dtype = torch::kFloat32;

    // 读取二进制数据
    std::ifstream bin_file(bin_path, std::ios::binary | std::ios::ate);
    std::streamsize size = bin_file.tellg();
    bin_file.seekg(0, std::ios::beg);
    std::vector<char> buffer(size);
    if (!bin_file.read(buffer.data(), size)) {
        throw std::runtime_error("Failed to read binary file");
    }

    // 构建Tensor并克隆内存，避免buffer销毁后失效
    torch::Tensor tensor = torch::from_blob(buffer.data(), shape, dtype).clone();
    return tensor;
}

class Foo {
private:
    torch::Tensor bar_;
    torch::Tensor baz_;

public:
    Foo() {
        bar_ = LoadFromBinary("tensor.bin", "tensor_meta.json");
        baz_ = LoadFromBinary("tensor.bin", "tensor_meta.json");
    }

    void test_access() {
        float bar_val = bar_[0][0].item<float>();
        float baz_val = baz_[0][0].item<float>();
        std::cout << "bar_[0][0]: " << bar_val << std::endl;
        std::cout << "baz_[0][0]: " << baz_val << std::endl;
    }
};

int main() {
    Foo foo;
    foo.test_access();
    return 0;
}

关键注意点 #

• 优先使用torch.save()和torch.load()，这是PyTorch/LibTorch官方推荐的序列化方式，能保证元信息完整
• 若使用裸二进制数据，必须手动指定张量的形状、数据类型，并通过clone()让Tensor拥有独立内存，避免悬垂指针
• 段错误的本质是Tensor内部元数据（如数据指针、形状）未正确初始化，导致访问非法内存区域

内容的提问来源于stack exchange，提问作者Paolo