KerasRegressor导入失败及LSTM模型调优与交叉验证求助

一、解决导入错误 #

1. ModuleNotFoundError: No module named 'tensorflow.keras.wrappers' #

TensorFlow已移除keras.wrappers模块，官方推荐使用scikeras作为替代，这是Keras与scikit-learn兼容的官方封装库。

2. ImportError: cannot import name '_fit_context' from 'sklearn.base' #

该错误源于scikeras与scikit-learn版本不兼容，解决步骤如下：

• 先查看当前scikit-learn版本：

  pip show scikit-learn
  

• 卸载现有scikeras：

  pip uninstall -y scikeras
  

• 根据scikit-learn版本安装对应scikeras：
  • 若scikit-learn >=1.0：安装最新版scikeras

    pip install scikeras
    

  • 若scikit-learn <1.0：安装兼容旧版本的scikeras

    pip install scikeras==0.8.0
    

• 正确导入方式：

  from scikeras.wrappers import KerasRegressor
  

二、替代方案：手动超参数调优+时间序列K折交叉验证 #

如果上述导入问题仍无法解决，可以不依赖KerasRegressor，手动实现超参数搜索结合时间序列专用交叉验证，避免数据泄露。

核心思路 #

时间序列数据不能随机打乱划分，必须使用TimeSeriesSplit按时间顺序拆分训练/验证集，遍历超参数组合并评估模型平均性能，最终筛选最优参数。

示例代码 #

import numpy as np
import tensorflow as tf
from sklearn.model_selection import TimeSeriesSplit
from sklearn.metrics import mean_squared_error

# 示例时间序列数据（替换为你的真实数据）
# X形状：(样本数, 时间步长, 特征数)，y形状：(样本数,)
X = np.random.rand(1000, 10, 3)
y = np.random.rand(1000)

# 定义LSTM模型构建函数，接收待调优超参数
def build_lstm_model(units=64, dropout_rate=0.2, learning_rate=0.001):
    model = tf.keras.Sequential([
        tf.keras.layers.LSTM(units, return_sequences=False, input_shape=(X.shape[1], X.shape[2])),
        tf.keras.layers.Dropout(dropout_rate),
        tf.keras.layers.Dense(1)
    ])
    optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate)
    model.compile(optimizer=optimizer, loss='mean_squared_error')
    return model

# 定义超参数搜索空间
param_grid = {
    'units': [32, 64, 128],
    'dropout_rate': [0.1, 0.2, 0.3],
    'learning_rate': [0.0001, 0.001, 0.01]
}

# 初始化时间序列K折拆分器
tscv = TimeSeriesSplit(n_splits=5)
best_mse = float('inf')
best_params = None

# 遍历所有超参数组合
for units in param_grid['units']:
    for dropout in param_grid['dropout_rate']:
        for lr in param_grid['learning_rate']:
            fold_mse_list = []
            # 遍历每个折
            for train_idx, val_idx in tscv.split(X):
                X_train, X_val = X[train_idx], X[val_idx]
                y_train, y_val = y[train_idx], y[val_idx]
                
                # 构建并训练模型
                model = build_lstm_model(units=units, dropout_rate=dropout, learning_rate=lr)
                model.fit(X_train, y_train, epochs=50, batch_size=32, verbose=0)
                
                # 验证并记录MSE
                val_pred = model.predict(X_val, verbose=0)
                fold_mse = mean_squared_error(y_val, val_pred)
                fold_mse_list.append(fold_mse)
            
            # 计算当前参数的平均MSE
            avg_mse = np.mean(fold_mse_list)
            print(f"参数组合：units={units}, dropout={dropout}, lr={lr} | 平均MSE: {avg_mse:.4f}")
            
            # 更新最优参数
            if avg_mse < best_mse:
                best_mse = avg_mse
                best_params = {'units': units, 'dropout_rate': dropout, 'learning_rate': lr}

print(f"\n最优参数：{best_params}")
print(f"最优交叉验证MSE：{best_mse:.4f}")

优化建议 #

• 若超参数空间较大，可使用贝叶斯优化（如bayesian-optimization库）替代暴力遍历，提升搜索效率。
• 在HPC集群上运行时，可结合多进程并行搜索超参数，或使用TensorFlow分布式训练加速模型训练。

内容的提问来源于stack exchange，提问作者Mahesh Maskey