Flow框架下MoSTScenario中RLlib受控智能体配置咨询

我之前做过类似的需求，核心是让Flow只作为RLlib和SUMO（MoSTScenario）之间的桥接，不干扰MoST的原生配置，下面是具体的实现步骤和代码示例：

1. 加载MoSTScenario的原生配置，不覆盖SUMO原生逻辑 #

首先，直接初始化MoSTScenario时，不要修改net_params、traffic_lights和非受控车辆的配置参数。MoSTScenario的默认构造已经包含了SUMO原生的交通灯控制逻辑、IDM跟驰模型等，我们只需要确保这些参数不被Flow的自定义配置覆盖：

from flow.scenarios import MoSTScenario
from flow.core.params import NetParams, InitialConfig, EnvParams

# 完全使用MoST的原生网络和初始配置，不做任何修改
net_params = NetParams(
    template={
        # 这里直接指向MoSTScenario默认的SUMO网络文件，不要修改
        "net": "path/to/most_scenario/net.net.xml",
        "rou": "path/to/most_scenario/flow.rou.xml",
    }
)
initial_config = InitialConfig()
env_params = EnvParams()

# 初始化MoST场景，此时所有车辆和交通灯都是SUMO原生配置
scenario = MoSTScenario(
    name="most-rl-test",
    net_params=net_params,
    initial_config=initial_config,
    env_params=env_params,
    # 这里不要传入vehicles参数，避免覆盖原生车辆配置
)

2. 单独添加RLlib受控智能体，不影响原有车辆 #

接下来，我们需要向场景中添加一辆受控车辆，使用RLlib的策略控制，同时确保原有非受控车辆的行为完全由SUMO（MoST）管理：

from flow.core.params import VehicleParams, SumoCarFollowingParams
from flow.envs.rllib_env import RLlibEnv

# 定义受控车辆的参数：只设置必要的RL控制标记，其余沿用SUMO默认
controlled_veh = VehicleParams()
controlled_veh.add(
    name="rl-car",
    acceleration_controller=(RLlibEnv, {}),  # 指定用RLlib控制
    car_following_params=SumoCarFollowingParams(
        # 这里可以保留SUMO的跟驰参数，或者按需调整，但不要用Flow的自定义控制器
        speed_mode="all_checks",
    ),
    initial_speed=0,
    num_vehicles=1,
)

# 将受控车辆添加到现有场景中，不会修改原有车辆
scenario.vehicles = controlled_veh
# 手动更新场景的车辆列表，确保SUMO识别到新增车辆
scenario.update_vehicles()

3. 配置RLlib多智能体策略，仅控制目标车辆 #

最后，在RLlib的训练配置中，指定只有我们添加的rl-car使用RL策略，其余车辆（MoST原生车辆）完全由SUMO自主控制，不需要RL干预：

from ray.rllib.agents.ppo import PPOTrainer
from ray.rllib.models import ModelCatalog
from ray.rllib.policy.policy import PolicySpec

# 自定义RL模型（如果需要），或者直接使用默认模型
ModelCatalog.register_custom_model("custom_rl_model", YourCustomModel)

# 多智能体策略配置：仅对rl-car应用RL策略，其余用默认（SUMO自主控制）
multiagent_config = {
    "policies": {
        "rl_policy": PolicySpec(
            config={
                "model": {
                    "custom_model": "custom_rl_model",
                    "custom_model_config": {},
                },
            },
        ),
    },
    "policy_mapping_fn": lambda agent_id, *args, **kwargs: "rl_policy" 
        if agent_id.startswith("rl-car") 
        else None,  # None表示由SUMO自主控制，不使用RL策略
}

# 初始化PPO训练器（或其他RL算法）
trainer = PPOTrainer(
    env=RLlibEnv,
    config={
        "env_config": {
            "scenario": scenario,
            "horizon": 1000,
        },
        "multiagent": multiagent_config,
        # 其他RLlib训练参数（如学习率、batch大小等）
    }
)

# 开始训练循环
for i in range(100):
    result = trainer.train()
    print(f"Iteration {i}: 平均奖励={result['episode_reward_mean']}")

关键注意事项 #

• 不要修改MoST的原生SUMO配置文件：比如net.net.xml、flow.rou.xml和traffic_lights.xml，确保交通灯逻辑、非受控车辆的跟驰模型完全保留MoST的默认设置。
• 避免使用Flow的自定义控制器：非受控车辆不要设置acceleration_controller为Flow实现的IDM，而是使用SumoCarFollowingParams让SUMO自行管理。
• 验证受控/非受控状态：可以在SUMO GUI中查看，受控车辆会显示为橙色（或自定义颜色），非受控车辆保持MoST默认的颜色，交通灯按原生逻辑运行。

内容的提问来源于stack exchange，提问作者Alberto Coello