跨脚本调用fit_transform与inverse_transform结果异常如何解决

你的代码存在两个核心逻辑错误，直接导致反归一化结果不符合预期：

• 进程间状态不共享：独立运行的Python脚本属于完全隔离的进程，你在第一个归一化脚本中调用fit_transform计算得到的原始数据最值、缩放系数等scaler参数，仅存在于当前脚本的运行内存中，脚本执行结束后内存回收，参数就会完全丢失。第二个预测脚本启动时，导入工具模块会重新初始化一个全新的、未经过拟合的MinMaxScaler实例，根本不持有训练阶段得到的缩放规则，调用inverse_transform自然无法映射回原始数值范围。
• 工具函数逻辑错误：现有normalize函数每次调用都会执行fit_transform，意味着只要传入新数组，就会重新计算最值、覆盖scaler的历史参数，哪怕在同一个脚本内，只要调用过一次normalize传入非训练集数据，之前拟合好的缩放规则就会被破坏。

1. 持久化训练好的scaler实例
   scaler的参数必须在训练阶段拟合完成后保存到本地磁盘，不能仅存于内存中。推荐使用joblib做序列化，对scikit-learn对象的兼容性和读写效率更高。
2. 重构工具脚本逻辑，移除全局scaler实例，把scaler的保存、加载逻辑封装到函数中，确保训练和预测阶段用的是同一组拟合参数，参考代码如下：

import joblib
import numpy as np
from sklearn.preprocessing import MinMaxScaler

# scaler模型本地持久化存储路径
SCALER_PATH = "./target_minmax_scaler.pkl"

def normalize(array, is_train: bool = False):
    arr = np.array(array).reshape(-1, 1)  # 统一转成scaler要求的二维输入格式
    if is_train:
        # 训练阶段：初始化scaler、拟合、保存到本地
        scaler = MinMaxScaler(copy=True, feature_range=(0., 1.))
        norm_arr = scaler.fit_transform(arr).flatten()
        joblib.dump(scaler, SCALER_PATH)
        return norm_arr
    else:
        # 非训练阶段：直接加载已保存的scaler做归一化，禁止重新fit
        scaler = joblib.load(SCALER_PATH)
        return scaler.transform(arr).flatten()

def inverse_norm(array):
    # 反归一化：加载训练阶段保存的scaler做映射，禁止重新fit
    scaler = joblib.load(SCALER_PATH)
    arr = np.array(array).reshape(-1, 1)
    return scaler.inverse_transform(arr).flatten()

3. 调整脚本调用逻辑
   • 在第一个处理训练数据的脚本中，对回归目标做归一化时，调用normalize(目标数组, is_train=True)，这一步会自动完成scaler拟合、归一化计算、scaler本地保存三个动作。注意这一步整个训练流程只需要执行一次，后续验证集、测试集做归一化时不要传is_train=True，避免覆盖已保存的scaler参数。
   • 在第二个实时预测脚本中，模型输出预测结果后，直接调用inverse_norm(预测结果数组)即可，函数会自动加载训练阶段保存的scaler参数，按照训练时的缩放规则把归一化的预测值映射回原始数值范围。

• 所有缩放相关的参数（最大值、最小值、缩放比例）只能从训练集数据上计算得到，验证、测试、预测阶段的所有归一化、反归一化操作，都只能用transform/inverse_transform，绝对不能调用fit或者fit_transform，否则会导致缩放规则不一致，结果完全错误。
• MinMaxScaler要求输入为二维数组（形状为[样本数, 特征数]），如果传入一维数组必须先做reshape，否则会触发维度错误或者计算异常，上述示例代码已经内置了维度转换逻辑，不需要额外处理。
• 持久化的scaler文件和scikit-learn版本强绑定，如果后续升级了scikit-learn版本，需要重新在训练集上拟合scaler并保存，避免版本不兼容导致加载失败。

内容的提问来源于stack exchange，提问作者randomboar