如何仅用DRL实现爬山算法？现有方案问题排查

核心问题排查 #

原方案未达预期的根本原因在于逻辑顺序、规则触发时机及状态更新机制的错误：

• 评估与执行逻辑倒置：原规则将isAllRulesChecked()作为触发前提，但此时Test对象尚未完成最优值的评估更新，导致规则无法匹配触发。
• 缺失适应度评估与最优值更新环节：原代码仅在前置条件中判断isBestRule()，但没有在评估阶段计算规则适应度并更新Test的最优状态，Test对象从未记录真实的最优规则。
• Salience优先级未配置：allRulesChecked规则未设置低优先级，可能在所有规则评估完成前提前触发，导致评估不完整。
• 循环执行机制缺失：最优规则执行后没有重置Test状态，无法启动新一轮的适应度评估与规则选择。

改进方案 #

1. 重构Test对象状态 #

扩展Test类，增加适应度更新、状态重置方法，确保能记录最优值并支持循环评估：

public class Test {
    private double bestFitness = Double.NEGATIVE_INFINITY;
    private String bestRuleName;
    private boolean allRulesChecked = false;

    // 判断是否为当前最优规则
    public boolean isBestRule(String ruleName) {
        return ruleName.equals(bestRuleName);
    }

    // 若当前规则适应度更优，则更新最优状态
    public boolean updateBestIfBetter(String ruleName, double fitness) {
        if (fitness > bestFitness) {
            bestFitness = fitness;
            bestRuleName = ruleName;
            return true;
        }
        return false;
    }

    // 重置状态，准备下一轮评估
    public void resetForNextCycle() {
        bestFitness = Double.NEGATIVE_INFINITY;
        bestRuleName = null;
        allRulesChecked = false;
    }

    // Getters & Setters
    public boolean isAllRulesChecked() { return allRulesChecked; }
    public void setAllRulesChecked(boolean allRulesChecked) { this.allRulesChecked = allRulesChecked; }
    public String getBestRuleName() { return bestRuleName; }
}

2. 拆分DRL规则逻辑 #

将流程拆分为适应度评估与最优更新、标记评估完成、执行最优规则三个阶段，通过Salience控制执行顺序：

（1）规则适应度评估与最优更新

每个规则单独计算自身适应度，尝试更新Test的最优状态，仅在评估阶段（!allRulesChecked）执行：

rule "Evaluate Rule 1"
    salience 0 // 默认优先级，确保先执行评估
    when
        $t: Test(!allRulesChecked)
        // 模拟计算规则1的适应度，替换为实际业务逻辑（如模拟规则应用后的状态计算）
        $fitness: Double() from eval(0.3) // 示例值：规则1适应度0.3
        // 若当前规则更优，更新Test状态
        eval($t.updateBestIfBetter("1", $fitness.doubleValue()))
    then
        modify($t) {} // 触发规则引擎重匹配，同步最优状态给其他规则
end

rule "Evaluate Rule 2"
    salience 0
    when
        $t: Test(!allRulesChecked)
        $fitness: Double() from eval(-0.1) // 示例值：规则2适应度-0.1
        eval($t.updateBestIfBetter("2", $fitness.doubleValue()))
    then
        modify($t) {}
end

rule "Evaluate Rule 3"
    salience 0
    when
        $t: Test(!allRulesChecked)
        $fitness: Double() from eval(0.4) // 示例值：规则3适应度0.4
        eval($t.updateBestIfBetter("3", $fitness.doubleValue()))
    then
        modify($t) {}
end

（2）标记评估完成

设置最低优先级（负Salience），确保所有评估规则执行完成后才触发，标记一轮评估结束：

rule "Mark All Rules Checked"
    salience -10 // 最低优先级，最后执行
    when
        $t: Test(!allRulesChecked)
    then
        modify($t) { setAllRulesChecked(true); }
end

（3）执行最优规则并重置循环

设置最高优先级，评估完成后立即执行最优规则，执行完成后重置Test状态，启动下一轮评估：

rule "Execute Best Rule"
    salience 10 // 最高优先级，评估完成后立即执行
    when
        $t: Test(allRulesChecked, bestRuleName != null)
        $bestRule: String() from $t.getBestRuleName()
    then
        // 根据最优规则执行对应业务逻辑
        switch($bestRule) {
            case "1":
                System.out.println("Rule 1 fired!");
                // 执行规则1的实际业务操作（会改变事实库，影响后续适应度计算）
                break;
            case "2":
                System.out.println("Rule 2 fired!");
                // 执行规则2的实际业务操作
                break;
            case "3":
                System.out.println("Rule 3 fired!");
                // 执行规则3的实际业务操作
                break;
        }
        // 重置状态，启动下一轮评估
        modify($t) {
            resetForNextCycle();
        }
end

3. 关键细节说明 #

• 适应度计算：示例中的eval(0.3)需替换为实际的业务逻辑，比如模拟规则应用后的状态计算（可通过临时插入事实、计算后移除，或调用自定义函数实现）。
• 规则重匹配：使用modify($t)触发规则引擎重新匹配，确保所有评估规则能实时获取最新的最优状态。
• 终止条件：若需要停止循环，可在Test类中添加连续轮次最优适应度不变的判断，或在Execute Best Rule中加入终止逻辑（如调用kSession.halt()）。

效果验证 #

当规则1适应度0.3、规则2-0.1、规则3-0.4时：

1. 所有评估规则执行，Test对象会更新最优规则为"3"，适应度0.4；
2. Mark All Rules Checked触发，标记评估完成；
3. Execute Best Rule触发，执行规则3的逻辑；
4. Test状态重置，规则引擎自动启动下一轮评估，重复上述流程。

内容的提问来源于stack exchange，提问作者Gummistiefel