ML部署代码中YAML配置重复加载问题及导入路径疑问

1. 每次导入都重新读取YAML的做法是否常见？ #

这种实现方式在课程示例、小型项目里不算少见，核心是实现简单，不需要额外处理缓存逻辑。但在生产级项目中，重复加载配置文件的做法并不推荐——毕竟配置文件通常不会频繁变更，重复读取属于冗余操作。

2. 读取YAML是否会有性能损耗？ #

损耗程度取决于配置文件大小和读取频率：

• 常规大小（几百行以内）的配置文件，单次读取耗时微乎其微，对大部分场景可以忽略。
• 如果配置文件体积大，或者被高频次导入（比如循环、高QPS接口中反复触发导入），累积的IO和解析耗时就会显现，还会占用不必要的系统资源。

3. 仅加载一次的优化实现方案 #

有两种简单可靠的实现方式：

• 模块级缓存标记：利用Python模块首次导入后会被缓存的特性，在core.py中用全局变量标记是否已加载配置：

  # core.py
  _cached_config = None
  
  def get_config():
      global _cached_config
      if _cached_config is None:
          # 读取并解析YAML文件的逻辑
          _cached_config = parse_config_file()
      return _cached_config
  
  # 模块初始化时加载一次
  config = get_config()
  

  第一次导入时执行读取逻辑，后续导入直接复用缓存好的配置对象。

• 使用lru_cache装饰器：如果get_config是无参数函数，用functools.lru_cache可以快速实现结果缓存：

  from functools import lru_cache
  
  @lru_cache(maxsize=None)
  def get_config():
      # 读取并解析YAML文件的逻辑
      return parse_config_file()
  

  这种方式代码更简洁，依赖Python内置的缓存机制实现单例效果。

4. 这个优化是否值得做？ #

分场景判断：

• 课程演示、小型工具类项目：优化收益极低，反而会增加代码复杂度，完全没必要做，保持现有简单实现即可。
• 生产环境服务（比如高QPS预测接口）、大体积配置文件或高频导入场景：优化很有必要，能减少冗余IO和解析开销，提升系统稳定性和性能。

5. 两种导入路径是否等价？ #

在通过setup.py和tox安装的项目中，需分场景看：

• 项目内部脚本（比如train.py、predict.py在regression包目录下）：两种导入等价。from config.core import config属于包内的绝对导入，from regression.config.core import config是全路径绝对导入，都能正确加载配置。
• 项目外部脚本：只有from regression.config.core import config能生效，因为安装后regression是Python的顶级包，直接from config.core import config会找不到模块。

内容的提问来源于stack exchange，提问作者KansaiRobot