使用cProfile分析Python脚本时遇'transformer.modules'模块找不到错误的解决方法

问题原因 #

使用python -m cProfile运行脚本时，Python的模块搜索路径（sys.path）与直接运行脚本时存在差异：直接运行python transformer.py时，脚本所在目录会被自动加入sys.path，但用-m cProfile模式运行时，该目录不会被优先添加，导致Python无法将transformer识别为合法包，进而找不到transformer.modules。

解决方案 #

方案1：将transformer目录转为合法包，以模块方式运行 #

• 第一步：在transformer目录下创建空的__init__.py文件，让该目录成为Python可识别的包。
• 第二步：进入transformer目录的父目录，执行以下命令：

  python -m cProfile -o result.dat transformer.transformer
  

  这里transformer.transformer表示调用transformer包下的transformer模块。

方案2：在脚本中手动添加模块搜索路径 #

在transformer.py的最顶部添加以下代码，强制将脚本所在目录的父目录加入sys.path，确保Python能找到transformer包：

import sys
from pathlib import Path
# 将transformer目录的父目录加入搜索路径
sys.path.append(str(Path(__file__).parent.parent))

添加后，直接运行原cProfile命令即可：

python -m cProfile -o result.dat transformer.py

方案3：通过环境变量指定模块搜索路径 #

运行cProfile前，先将transformer目录的父目录设置到PYTHONPATH环境变量中：

• Linux/macOS：

  PYTHONPATH=/path/to/transformer/parent python -m cProfile -o result.dat /path/to/transformer/transformer.py
  

• Windows（CMD）：

  set PYTHONPATH=C:\path\to\transformer\parent && python -m cProfile -o result.dat C:\path\to\transformer\transformer.py
  

• Windows（PowerShell）：

  $env:PYTHONPATH = "C:\path\to\transformer\parent" ; python -m cProfile -o result.dat C:\path\to\transformer\transformer.py
  

替换命令中的/path/to/transformer/parent为实际的父目录路径。

方案4：修改导入语句，适配直接运行模式 #

如果脚本中的导入语句是from transformer.modules import ...，可以改为直接导入modules下的模块：

# 原导入语句
# from transformer.modules import encoder, decoder

# 修改后
from modules import encoder, decoder

修改后，直接运行原cProfile命令即可正常工作。

内容的提问来源于stack exchange，提问作者Avatar