基于LiteRT的C++ CPU推理中第二个输出张量数据异常问题

你遇到的问题是：使用LiteRT的CompiledModel API在C++ CPU环境下推理时，第一个输出张量结果与Python端一致，但第二个张量数据完全无效，且推理调用无错误返回。结合你的代码和场景，可从以下几个方向排查：

1. 验证输出缓冲区与模型签名的对应关系 #

确认CreateOutputBuffers()返回的缓冲区顺序是否与模型签名的输出顺序完全匹配。你当前通过signature.OutputNames()获取输出名称，但有可能缓冲区的顺序和签名中的名称顺序不对应，导致你读取的第二个缓冲区并非对应circle张量。

可以在循环中打印每个输出缓冲区的张量名称，和签名中的名称对比：

for (size_t k = 0; k < output_buffers.size(); ++k) {
    LITERT_ASSIGN_OR_ABORT(auto tensor_type, output_buffers[k].TensorType());
    std::string buffer_name = tensor_type.Name();
    std::string signature_name = std::string(output_names[k]);
    std::cout << "Buffer " << k << ": " << buffer_name << " | Signature Output " << k << ": " << signature_name << std::endl;
}

如果两者不匹配，需要调整读取顺序，或者通过签名的输出索引来获取对应缓冲区。

2. 检查输出张量的读取方式 #

你当前使用Read()方法将数据读取到连续的vector<float>中，但如果第二个输出张量的内存布局是非连续的（存在strides），直接读取可能导致数据错误。可以尝试直接访问张量的原始内存指针，验证数据是否有效：

// 替换原有的Read逻辑，直接获取数据指针
float* output_data_ptr = output_buffers[k].data<float>();
for (int i = 0; i < output_sizes[k]; ++i) {
    std::cout << "  Element [" << i << "]: " << output_data_ptr[i] << std::endl;
}

如果这种方式能得到正确数据，说明是Read()方法的使用问题，需要考虑张量的内存步长，或者使用absl::Span时匹配正确的内存范围。

3. 显式设置动态维度的实际值 #

你的模型输出包含动态批次维度（-1），虽然输入是单批次数据，但LiteRT可能需要显式指定运行时的实际维度才能正确填充输出。可以在创建输入缓冲区后，设置输入的静态维度：

// 在获取input_buffers后添加以下代码
LITERT_ASSIGN_OR_ABORT(auto input_tensor_type, input_buffers[0].TensorType());
auto mutable_layout = input_tensor_type.MutableLayout();
// 设置实际运行的批次大小为1，其他维度保持模型定义
mutable_layout.SetDimensions({1, buffer_shape.image_height, buffer_shape.image_width, buffer_shape.image_depth});
LITERT_ABORT_IF_ERROR(input_buffers[0].Reshape(mutable_layout));

同时，也可以对输出缓冲区做类似的Reshape操作，指定实际的输出维度（比如{1,1,2}和{1,1,3}），确保输出内存被正确分配和填充。

4. 配置RunOptions调度参数 #

部分模型可能需要显式配置调度参数才能正确运行多输出张量。尝试创建RunOptions并设置线程数等参数，再传入Run()方法：

// 在Run前添加
litert::RunOptions run_options;
run_options.SetNumThreads(4); // 根据CPU核心数调整
LITERT_ABORT_IF_ERROR(compiled_model.Run(input_buffers, output_buffers, run_options));

这可以避免因默认调度策略导致的部分输出未被正确计算的问题。

5. 排查版本兼容性 #

确认你使用的LiteRT版本与导出模型的TensorFlow版本是否兼容。如果模型是用较新版本的TensorFlow导出的，而LiteRT版本较旧，可能存在算子或张量格式的兼容性问题，导致第二个输出无法正确生成。建议升级LiteRT到与模型导出版本匹配的最新稳定版。

内容的提问来源于stack exchange，提问作者MrB