PyImport_ImportModule性能分析及高频调用场景最佳实践咨询

问题1解答 #

PyImport_ImportModule("datetime")不会每次都重新加载模块，CPython导入系统会把所有已加载的模块缓存在sys.modules字典里，每次调用该接口时会优先查询缓存，命中后直接返回模块对象的新引用。但要注意：即使走缓存，每次调用也会产生字典查找、引用计数增减的开销，高频调用下累积开销不可忽略。

问题2解答 #

哪怕内置有缓存，高频场景下也推荐自行缓存常用对象：

• ① 推荐的缓存实现方式：使用静态局部变量或者全局静态变量存储datetime模块和date类的指针，仅在第一次调用时执行导入和属性获取逻辑，后续调用直接复用缓存的对象。注意要永久持有这两个对象的引用，不要在函数返回前释放，仅在你的扩展模块卸载时按需清理即可。
  示例实现：

  // 静态缓存变量
  static PyObject* cached_datetime = NULL;
  static PyObject* cached_date_type = NULL;
  
  PyObject* my_inner_loop_fn(void* some_data) {
      // 仅第一次调用初始化缓存
      if (cached_datetime == NULL) {
          cached_datetime = PyImport_ImportModule("datetime");
          if (cached_datetime == NULL) return NULL;
          cached_date_type = PyObject_GetAttrString(cached_datetime, "date");
          if (cached_date_type == NULL) {
              Py_CLEAR(cached_datetime);
              return NULL;
          }
      }
      PyObject* result = NULL;
      /* long long my_year, my_month, my_day = ... ; */
      PyObject* args = Py_BuildValue("(LLL)", my_year, my_month, my_day);
      result = PyObject_Call(cached_date_type, args, NULL);
      Py_XDECREF(args);
      return result;
  }
  
  // 扩展模块卸载时调用，清理缓存引用避免泄漏
  void your_module_cleanup(void) {
      Py_CLEAR(cached_date_type);
      Py_CLEAR(cached_datetime);
  }
  

• ② 最早的安全导入时机：如果你是编写CPython扩展模块，可以直接在扩展模块的初始化函数（即PyInit_<你的模块名>函数）中完成导入和缓存赋值，此时解释器环境已经完全初始化，导入操作是完全安全的，赋值给全局变量存储没有任何问题。

性能评估 #

你当前的代码性能不符合高频内循环的预期。除了导入操作的开销外，每次重复调用PyObject_GetAttrString获取date属性也是不必要的开销，两项开销加起来通常会远超构造date对象本身的耗时，高频调用下会带来数倍的性能损耗。

内容的提问来源于stack exchange，提问作者trbabb