子进程创建TensorRT引擎时出现异常，寻求技术排查与版本解答

我来帮你梳理下这个子进程运行TensorRT的问题，结合我之前踩过的坑给你一些具体方向：

可能的问题根源 #

• CUDA上下文未正确隔离：单进程下pycuda.autoinit会自动帮你初始化CUDA上下文，但子进程无法继承父进程的CUDA上下文，直接复用会导致资源冲突，这是子进程场景最常见的问题。
• TensorRT资源进程私有性：TensorRT的引擎、执行上下文都是绑定到当前进程的，如果你在父进程创建引擎后传给子进程使用，必然会出现错误，必须在子进程内独立构建这些资源。
• 早期版本兼容性Bug：TensorFlow 1.7对应的TensorRT版本（一般是3.x）确实存在多进程场景下的资源管理缺陷，这是早期集成阶段的常见问题。

分步验证与修复 #

1. 子进程内手动初始化CUDA上下文
   不要依赖父进程的pycuda.autoinit，在子进程代码开头手动创建并管理CUDA上下文：

   import pycuda.driver as cuda
   cuda.init()
   device = cuda.Device(0)  # 选择你的GPU设备
   ctx = device.make_context()
   
   # 这里执行你的TensorRT推理逻辑
   
   ctx.pop()  # 退出前务必释放上下文
   

2. 子进程内独立构建TensorRT引擎
   所有TensorRT相关的初始化（模型解析、引擎构建、上下文创建）都要放在子进程内部完成，绝对不能复用父进程的资源。比如不能在父进程解析UFF模型然后把网络对象传给子进程，必须在子进程里重新解析、构建。

3. 版本升级建议
   首先要明确：TensorFlow 1.7是2018年的老版本，官方已经停止维护，不会再有新版本发布来修复这类问题。如果你的项目可以升级，建议：

   • 迁移到TensorFlow 1.15（官方LTS版本）搭配TensorRT 7.x，这个组合在多进程场景下的稳定性提升明显；
   • 如果能切换到TensorFlow 2.x+，其内置的TensorRT集成（tf.experimental.tensorrt）对多进程的支持更完善。
     如果必须坚守TensorFlow 1.7，建议升级到同版本对应的最新TensorRT补丁版（比如TensorRT 3.0.4），能修复部分已知的多进程Bug。

可运行的子进程TensorRT示例代码 #

这里给你一个完整的子进程运行TensorRT的示例，基于multiprocessing模块：

import multiprocessing
import pycuda.driver as cuda
import tensorrt as trt
from tensorrt.parsers import uffparser
import numpy as np

def trt_subprocess_task():
    # 子进程手动初始化CUDA上下文
    cuda.init()
    device = cuda.Device(0)
    ctx = device.make_context()

    try:
        # 初始化TensorRT组件
        trt_logger = trt.Logger(trt.Logger.INFO)
        builder = trt.Builder(trt_logger)
        network = builder.create_network()
        parser = uffparser.create_uff_parser()

        # 替换为你的模型输入输出配置
        parser.register_input("input", (3, 224, 224))
        parser.register_output("output")
        
        # 解析UFF模型（替换为你的模型路径）
        parser.parse("your_model.uff", network)

        # 构建引擎
        builder.max_workspace_size = 1 << 28  # 256MB显存
        engine = builder.build_cuda_engine(network)
        context = engine.create_execution_context()

        # 模拟推理数据
        input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
        # 分配显存
        d_input = cuda.mem_alloc(input_data.nbytes)
        d_output = cuda.mem_alloc(1000 * 4)  # 假设输出是1000类

        # 数据拷贝与推理
        cuda.memcpy_htod(d_input, input_data)
        context.execute_v2([int(d_input), int(d_output)])

        # 读取输出结果
        output_data = np.empty(1000, dtype=np.float32)
        cuda.memcpy_dtoh(output_data, d_output)
        print("子进程推理完成，输出前5个结果：", output_data[:5])

    finally:
        # 确保释放所有资源
        ctx.pop()

if __name__ == "__main__":
    # 启动子进程
    process = multiprocessing.Process(target=trt_subprocess_task)
    process.start()
    process.join()

内容的提问来源于stack exchange，提问作者user3448533