基于配置调用不同函数：动态导入Transformer函数失败问题

问题根源 #

直接import transformers只会导入transformers包本身，不会自动加载其下的子模块（transform1.py、transform2.py等），所以getattr(transformers, map_file)找不到对应的子模块。

方法1：使用importlib动态导入子模块 #

这是最直接的修改方式，无需调整现有模块结构，通过Python标准库的importlib实现动态导入：

import importlib

def get_transform_function(file):
    map_name = get_map_file(file)  # 得到"transform1"这类模块名
    # 动态导入transformers下的子模块
    module = importlib.import_module(f".{map_name}", package="transformers")
    # 返回模块中的transform函数
    return module.transform

优点 #

• 无需修改现有transformers模块结构，直接适配现有代码
• 标准库实现，无额外依赖
• 按需导入，不会一次性加载所有100+转换器，节省内存

缺点 #

• 首次调用会执行导入逻辑（Python会缓存已导入模块，后续调用无重复加载）

方法2：在transformers包的__init__.py中自动注册子模块 #

如果希望提前加载所有转换器模块，修改transformers/__init__.py自动导入所有子模块，这样import transformers后就能直接通过getattr访问：

# transformers/__init__.py
import os
import importlib

# 获取当前目录下所有有效模块文件
for filename in os.listdir(os.path.dirname(__file__)):
    if filename.endswith(".py") and filename != "__init__.py":
        module_name = filename[:-3]
        # 动态导入并挂载到包属性中
        module = importlib.import_module(f".{module_name}", package=__name__)
        globals()[module_name] = module

之后原代码即可正常工作：

import transformers

def get_transform_function(file):
    map_name = get_map_file(file)
    module = getattr(transformers, map_name)
    return module.transform

优点 #

• 原代码几乎无需修改
• 所有模块在包导入时一次性加载，后续调用无导入开销

缺点 #

• 启动时会加载所有100+转换器，若转换器初始化逻辑较重，会增加启动时间

方法3：使用装饰器注册转换器（推荐的最佳实践） #

这种方式扩展性更强，适合大量转换器的场景。维护一个全局注册字典，每个转换器模块用装饰器把transform函数注册进去：

步骤1：定义注册器（transformers/init.py） #

# transformers/__init__.py
TRANSFORM_REGISTRY = {}

def register_transform(name):
    def decorator(func):
        TRANSFORM_REGISTRY[name] = func
        return func
    return decorator

步骤2：修改转换器模块（如transform1.py） #

# transformers/transform1.py
from . import register_transform

@register_transform("transform1")
def transform(data):
    # 你的转换逻辑
    return processed_data

步骤3：获取转换函数 #

from transformers import TRANSFORM_REGISTRY

def get_transform_function(file):
    map_name = get_map_file(file)
    return TRANSFORM_REGISTRY[map_name]

优点 #

• 结构清晰，每个转换器明确声明注册名称，与yaml映射完全对应
• 无需动态导入，直接从字典取函数，性能更优
• 扩展性强：新增转换器只需添加装饰器，无需修改其他代码
• 支持自定义注册名称，不局限于模块文件名

缺点 #

• 需要修改现有转换器模块，添加装饰器代码

总结推荐 #

追求最小改动选方法1；希望原代码完全不变选方法2；考虑长期扩展性和可维护性（尤其是100+转换器场景），优先选方法3——这是插件式架构的标准最佳实践。

内容的提问来源于stack exchange，提问作者zachvac