OpenAI Gym Frozen Lake仿真中Agent未执行指定动作问题

问题场景 #

在OpenAI Gym的Frozen Lake仿真环境中训练智能体时，出现动作执行不符合预期的情况：

• 环境动作映射定义：

  LEFT = 0
  DOWN = 1
  RIGHT = 2
  UP = 3
  

• 智能体初始处于4×4网格左上角（状态0），执行以下代码指定动作0（LEFT，理论上无法移动）：

  action = 0 # Left
  env.reset()
  new_state, reward, done, info = env.step(action) # Take a step
  

• 预期结果：智能体停留在状态0；实际结果：智能体移动到了状态4。

原因分析 #

Frozen Lake环境默认开启打滑（slippery）模式，这是环境模拟冰面行走不确定性的核心机制。在该模式下，即使明确指定动作，环境也会以1/3的概率随机选择另外两个垂直于指定动作的方向执行（比如指定LEFT时，可能随机执行DOWN或UP）。在状态0的场景中，UP方向被边界阻挡，因此实际执行了DOWN动作，最终移动到状态4。

解决方法 #

如果需要让动作执行完全确定，创建环境时可以通过is_slippery=False参数关闭打滑模式，此时指定的动作会被严格执行，不会出现随机偏移：

# 新版Gym已迁移至gymnasium库，示例代码如下
import gymnasium as gym
env = gym.make("FrozenLake-v1", is_slippery=False)

内容的提问来源于stack exchange，提问作者Dan Lee