求助：如何使用Improved Grey Wolf Optimizer实现异常检测模型

你已经基于SVM完成了异常检测的基础训练，现在可以通过改进灰狼优化算法（IGWO）优化SVM的核心超参数，以此提升异常检测性能。下面是具体的落地步骤和整合代码：

核心逻辑 #

IGWO的作用是搜索SVM的最优超参数组合（比如惩罚系数C、核函数参数gamma），通过最小化验证集上的模型损失，找到能提升异常检测精度的参数，而非直接生成预测结果。

具体实现步骤 #

1. 确定优化目标参数 #

针对异常检测场景，优先优化SVM的两个核心超参数：

• C：惩罚系数，控制模型对误分类样本的容忍度
• gamma：RBF核函数的带宽参数，决定单一样本对全局的影响力范围

2. 重写IGWO的目标函数 #

目标函数需要接收一组参数（[C, gamma]），用该参数训练SVM，返回验证集上的错误率（IGWO会最小化这个值）。为避免过拟合，建议拆分训练集为训练+验证子集。

3. 设置参数搜索边界 #

根据SVM参数的特性，设置合理的搜索范围（用对数尺度搜索更高效）：

• C：对数范围[-3, 3]，对应实际值1e-3到1e3
• gamma：对数范围[-4, 2]，对应实际值1e-4到1e2

4. 整合IGWO与SVM的完整代码 #

import numpy as np
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score, classification_report
from sklearn.model_selection import train_test_split
import warnings
from sklearn.exceptions import DataConversionWarning

# 抑制无关警告
warnings.filterwarnings(action='ignore', category=DataConversionWarning)

# 假设你的x_train_scaled、y_train、x_test_scaled、y_test已提前定义
# 拆分训练集为训练+验证集，用于IGWO的目标函数评估
x_train, x_val, y_train, y_val = train_test_split(
    x_train_scaled, y_train.to_numpy().ravel(), test_size=0.2, random_state=42
)

# 改进灰狼优化算法（保留原实现逻辑）
def improved_grey_wolf_optimizer(objective_function, lb, ub, dim, SearchAgents_no=50, Max_iter=100):
    Alpha_pos = np.zeros(dim)
    Alpha_score = float('inf')

    Beta_pos = np.zeros(dim)
    Beta_score = float('inf')

    Delta_pos = np.zeros(dim)
    Delta_score = float('inf')

    Positions = np.random.uniform(0, 1, (SearchAgents_no, dim)) * (ub - lb) + lb
    Convergence_curve = np.zeros(Max_iter)

    for l in range(Max_iter):
        for i in range(SearchAgents_no):
            # 限制搜索范围在设定边界内
            Positions[i, :] = np.clip(Positions[i, :], lb, ub)
            # 计算当前参数组合的损失值
            fitness = objective_function(Positions[i, :])

            # 更新Alpha、Beta、Delta狼的位置（对应最优/次优参数组合）
            if fitness < Alpha_score:
                Alpha_score = fitness
                Alpha_pos = Positions[i, :].copy()
            elif fitness < Beta_score:
                Beta_score = fitness
                Beta_pos = Positions[i, :].copy()
            elif fitness < Delta_score:
                Delta_score = fitness
                Delta_pos = Positions[i, :].copy()

        a = 2 - l * (2 / Max_iter)  # 线性递减的控制参数a

        # 更新所有搜索代理的位置
        for i in range(SearchAgents_no):
            for j in range(dim):
                r1, r2 = np.random.rand(), np.random.rand()
                A1 = 2 * a * r1 - a
                C1 = 2 * r2
                D_alpha = abs(C1 * Alpha_pos[j] - Positions[i, j])
                X1 = Alpha_pos[j] - A1 * D_alpha

                r1, r2 = np.random.rand(), np.random.rand()
                A2 = 2 * a * r1 - a
                C2 = 2 * r2
                D_beta = abs(C2 * Beta_pos[j] - Positions[i, j])
                X2 = Beta_pos[j] - A2 * D_beta

                r1, r2 = np.random.rand(), np.random.rand()
                A3 = 2 * a * r1 - a
                C3 = 2 * r2
                D_delta = abs(C3 * Delta_pos[j] - Positions[i, j])
                X3 = Delta_pos[j] - A3 * D_delta

                Positions[i, j] = (X1 + X2 + X3) / 3

        Convergence_curve[l] = Alpha_score

    return Alpha_pos, Convergence_curve

# 定义IGWO的目标函数：基于SVM验证集错误率
def svm_objective(params):
    # 将对数尺度参数转换为实际值
    C = 10 ** params[0]
    gamma = 10 ** params[1]

    # 训练SVM模型
    svm_model = SVC(C=C, gamma=gamma, kernel='rbf', random_state=42)
    svm_model.fit(x_train, y_train)

    # 计算验证集错误率（IGWO会最小化该值）
    y_val_pred = svm_model.predict(x_val)
    error_rate = 1 - accuracy_score(y_val, y_val_pred)
    return error_rate

# 设置参数搜索边界（对数尺度）
lb = np.array([-3, -4])
ub = np.array([3, 2])
dim = 2  # 优化的参数数量：C和gamma

# 运行IGWO搜索最优参数
best_params_log, convergence_curve = improved_grey_wolf_optimizer(
    svm_objective, lb, ub, dim, SearchAgents_no=30, Max_iter=50
)

# 转换为实际参数值
best_C = 10 ** best_params_log[0]
best_gamma = 10 ** best_params_log[1]
print(f"IGWO找到的最优参数：C={best_C:.4f}, gamma={best_gamma:.4f}")

# 用最优参数训练最终SVM模型
final_svm_model = SVC(C=best_C, gamma=best_gamma, kernel='rbf', random_state=42)
final_svm_model.fit(x_train_scaled, y_train.to_numpy().ravel())

# 在测试集上评估优化后的模型性能
svm_y_pred = final_svm_model.predict(x_test_scaled)
print("优化后SVM分类报告：")
print(classification_report(y_test, svm_y_pred))
print(f"优化后SVM准确率：{accuracy_score(y_test, svm_y_pred):.4f}")

关键说明 #

• 对数尺度搜索：SVM的C和gamma对性能的影响是非线性的，对数尺度能让搜索更高效，避免参数范围过大导致的搜索低效。
• 验证集拆分：避免直接用测试集评估目标函数，防止模型过拟合测试数据。
• IGWO参数调整：SearchAgents_no（搜索代理数量）和Max_iter（迭代次数）可根据数据集大小调整，迭代次数越多结果越稳定，但耗时也会增加。

内容的提问来源于stack exchange，提问作者salvinthilaks