Python跨文件共享高开销复杂对象的优化方案咨询

问题背景 #

之前在utils.py中直接初始化高开销对象expensive_obj，导入到work.py使用来避免多函数重复创建，但部署时发现导入阶段初始化耗时过长，和生产框架冲突。同事建议用带@lru_cache的getter函数，但担心去重效果，同时觉得多函数调用太繁琐。核心需求：

• 跨文件函数间共享同一个对象实例
• 避免在模块导入阶段执行高开销初始化

你提出的全局变量方案可行性分析 #

你给出的基于全局变量的延迟初始化方案完全可行，核心思路是把对象的初始化从模块导入阶段推迟到实际使用前，完美匹配需求，但有几个细节需要优化：

原方案代码 #

# expensive.py - shared objects only
from fancy_module import Fancy_class
expensive_obj = None
def init_expensive_obj(): 
    global expensive_obj
    expensive_obj = Fancy_class()

# work.py
import expensive
if expensive.expensive_obj is None:
    expensive.init_expensive_obj()

def work_func():
    expensive.expensive_obj.do_other_stuff()

潜在问题与优化 #

1. 并发场景下的重复初始化：如果多个线程同时判断expensive_obj is None并调用init_expensive_obj()，会导致多次创建实例。可以用双重检查锁解决：

# expensive.py 优化版（线程安全）
from fancy_module import Fancy_class
import threading

expensive_obj = None
_lock = threading.Lock()

def init_expensive_obj():
    global expensive_obj
    with _lock:
        # 双重检查，确保只有第一次调用会初始化
        if expensive_obj is None:
            expensive_obj = Fancy_class()

2. 初始化时机的冗余判断：原方案在work.py导入时就判断初始化，若这个模块被导入但实际没使用expensive_obj，会做无用功。可以把判断逻辑放到函数内部，真正用到时才初始化：

# work.py 优化版
import expensive

def work_func():
    if expensive.expensive_obj is None:
        expensive.init_expensive_obj()
    expensive.expensive_obj.do_other_stuff()

对比@lru_cache方案 #

同事建议的@lru_cache方案其实去重效果完全可靠，maxsize=1会确保只缓存一个实例，不会重复创建。示例代码：

# expensive.py
from functools import lru_cache
from fancy_module import Fancy_class

@lru_cache(maxsize=1)
def get_expensive_obj():
    return Fancy_class()

使用时每次调用get_expensive_obj()即可拿到同一个实例。如果觉得调用繁琐，可以结合全局变量方案，把getter的结果赋值给全局变量，或者用模块级别的懒加载属性。

更优雅的懒加载实现 #

如果想兼顾简洁性和安全性，可以用类属性实现懒加载：

# expensive.py
from fancy_module import Fancy_class
import threading

class ExpensiveObj:
    _instance = None
    _lock = threading.Lock()

    @classmethod
    def get_instance(cls):
        with cls._lock:
            if cls._instance is None:
                cls._instance = Fancy_class()
        return cls._instance

# 暴露全局可访问的实例入口
expensive_obj = ExpensiveObj.get_instance

使用时直接调用expensive.expensive_obj()即可，既保证线程安全，又不用每次写判断逻辑。

内容的提问来源于stack exchange，提问作者xyliu00