OpenVINO如何处理类RNN层状态？循环模型默认有状态吗？推理异常排查

关于RNN类层的状态处理 #

• OpenVINO对LSTM/RNN等循环层支持两种状态模式：
  • 无状态模式：这是默认转换方式，除非原模型显式标记为有状态（比如TensorFlow中设置stateful=True的循环层）。这种模式下，每次推理都会自动将循环层的初始状态重置为零，无需手动调用状态重置接口，此时query_state()会返回空数组。
  • 有状态模式：仅当原模型是有状态循环层时才会启用。此时推理请求会保留上一次的输出状态作为下一次的初始状态，需要手动调用state.reset()来重置状态，query_state()会返回对应的状态对象。
• 不是所有循环模型默认都是有状态的，转换后的状态模式完全取决于原框架模型的定义。

你的推理结果不一致问题原因及解决方法 #

你的问题核心在于：当复用同一个推理请求时，尽管你尝试重置状态，但模型本身是无状态模式，query_state()返回空意味着没有可重置的内部状态，而OpenVINO的内部优化可能导致状态没有按预期完全重置，和原TensorFlow模型每次从零初始状态推理的逻辑产生偏差。

而将infer_request = compiled_model.create_infer_request()放入循环后，每次都会创建全新的推理请求，每个请求的初始状态自动归零，和原TensorFlow模型的推理逻辑完全对齐，因此结果正常。

代码调整建议 #

保持循环内创建推理请求的逻辑即可，这是最贴合你场景的解决方案：

import openvino.runtime as ov

compiled_model = ov.compile_model(ir_path)
for input_path in frame_paths:
    # 每次循环创建新的推理请求，初始状态自动重置为零
    infer_request = compiled_model.create_infer_request()
    # 创建输入张量
    input_tensor = ov.Tensor(array=get_model_input([input_path], max_sequence_len=1), shared_memory=False)
    infer_request.set_input_tensor(input_tensor)
    # 异步推理并等待结果
    infer_request.start_async()
    infer_request.wait()
    # 获取输出
    output = infer_request.get_output_tensor()
    output_buffer = output.data

内容的提问来源于stack exchange，提问作者Gustaw Ohler