如何检查PyTorch 2.0中TorchDynamo是否成功编译模型？

以下几种方式可快速确认模型是否通过TorchDynamo成功编译：

• 检查模型类型
  编译后的模型会被封装为torch._dynamo.eval_frame.OptimizedModule，直接通过类型判断验证：

  import torch
  from torch._dynamo.eval_frame import OptimizedModule
  
  compiled_model = torch.compile(your_model)
  print(isinstance(compiled_model, OptimizedModule))  # 返回True则说明模型已被编译包装器包裹
  

  注意：这仅确认模型被编译包装，真正的编译逻辑会延迟到第一次前向传播时执行。

• 查看编译统计信息
  利用TorchDynamo内置工具打印编译详情，包括成功/失败的函数数量、编译耗时等：

  torch._dynamo.debug_utils.print_compile_stats()
  

  执行一次前向传播后调用该函数，会输出完整编译统计，直观展示各部分的编译状态。

• 开启编译日志
  开启verbose模式后，编译过程会输出详细日志，清晰显示是否触发编译、编译是否成功：

  import torch._dynamo
  torch._dynamo.config.verbose = True
  
  compiled_model = torch.compile(your_model)
  # 用小批量输入触发编译
  dummy_input = torch.randn(1, 3, 224, 224)  # 需匹配你的模型输入形状
  compiled_model(dummy_input)
  

  日志中出现compiled fn相关成功信息说明编译完成；若有failed字样则需排查问题。

• 打印模型结构
  直接打印编译后的模型，输出会包含OptimizedModule(original_module=...)结构，证明模型已被编译包装：

  print(compiled_model)
  

1. TorchDynamo是torch.compile的底层组件
   无需直接调用TorchDynamo底层接口，torch.compile()是PyTorch官方统一编译入口，默认用TorchDynamo作为前端捕捉Python字节码，搭配TorchInductor等后端生成优化代码。

2. 编译是延迟执行的
   调用torch.compile(model)仅完成模型包装，真正的编译流程会在第一次前向传播时触发。若要在model.fit()前确认编译成功，必须先执行一次小批量前向推理触发编译。

3. 编译不改变模型接口
   编译后的模型与原模型调用方式完全一致，无需修改model.fit()代码，直接传入编译后的模型即可。

内容的提问来源于stack exchange，提问作者Time