使用Ray MAPPO训练自定义Gym环境时的渲染与多窗口问题

问题1：模拟无法渲染 #

Ray的分布式/多进程执行机制会导致PyGame的渲染上下文被隔离——训练时环境通常在子进程中运行，而PyGame需要依赖主进程的显示上下文才能正常渲染。针对这个问题，可尝试以下方案：

• 仅在主进程触发渲染：在训练循环中通过ray.get_runtime_context().is_main_worker()判断当前进程是否为主进程，仅主进程调用env.render()。
• 禁用多环境并行：如果不需要并行训练，初始化MAPPO配置时设置num_envs_per_worker=1，确保环境在主进程中实例化。
• 调整渲染逻辑：将PyGame渲染改为非阻塞模式，或仅在主进程中初始化显示窗口，子进程仅计算状态不处理渲染。

问题2：生成多个PyGame窗口 #

多窗口问题源于Ray的Worker进程会各自实例化环境，每个进程都会独立创建PyGame窗口。解决思路是限制窗口仅在主进程创建：

• 条件化初始化显示：在自定义环境的__init__方法中，仅当当前是主进程时才初始化PyGame窗口，示例代码：

  import pygame
  from ray.runtime_context import get_runtime_context
  
  class FreezeTagEnv(gym.Env):
      def __init__(self, n_robots, m_opponents):
          self.is_main_process = get_runtime_context().is_main_worker()
          if self.is_main_process:
              pygame.init()
              self.screen = pygame.display.set_mode((800, 600))
          # 其他环境初始化逻辑（状态空间、动作空间等）
  

• 共享渲染资源：在主进程预先创建共享的PyGame窗口，子进程将渲染数据传递到主进程统一绘制，避免重复创建窗口。

适配训练目标的MAPPO配置调整 #

针对你设定的训练参数（n个机器人+m个对手、每轮500步、每10步收集经验、每轮最多50次更新、共100轮），可按以下方式配置MAPPO：

from ray.rllib.algorithms.mappo import MAPPOConfig
from your_env_module import FreezeTagEnv

# 初始化环境，获取观测/动作空间
env = FreezeTagEnv(n_robots=3, m_opponents=5)
obs_space = env.observation_space
act_space = env.action_space

# 配置MAPPO
config = MAPPOConfig()
config = config.multi_agent(
    # 为所有智能体使用共享策略，也可按需求配置独立策略
    policies={"shared_policy": (None, obs_space, act_space, {})},
    policy_mapping_fn=lambda agent_id, *args, **kwargs: "shared_policy"
)
# 每10步收集一批经验
config.rollout_fragment_length = 10
# 每轮500步对应50批经验，刚好满足每轮最多50次更新
config.train_batch_size = 500
# 禁用多环境并行，避免多窗口问题
config.num_envs_per_worker = 1

# 初始化算法并启动训练
algo = config.build(env=FreezeTagEnv)
for episode in range(100):
    result = algo.train()
    print(f"Episode {episode}: reward={result['episode_reward_mean']}")
    # 仅主进程渲染
    if get_runtime_context().is_main_worker():
        env.render()

内容的提问来源于stack exchange，提问作者SteveRodgers43