如何定义13维、元素和为0且取值[-1,1]的Gym动作空间？

我正在用Python编写自定义Gym环境，训练RL智能体实现最优有限资源分配。需求如下：

• 智能体动作是(1,13)维度的Numpy数组，每个元素取值范围[-1,1]，且所有元素之和必须为0
• 场景逻辑：智能体通过动作调整资源分配权重（初始权重是(1,13)数组，元素范围[0,1]且和为1），相加后新权重仍满足和为1，以此迭代获取最高累积奖励

我尝试用Box定义动作空间：

import gym
from gym.spaces import Box
import numpy as np

# 两种尝试方式
action_space = gym.spaces.Box(low=-1., high=1., shape=(1,13))
# 或
action_space = gym.spaces.Box(low=np.array([-1.]*13), high=np.array([1.]*13))

但这种定义无法约束元素和为0，会产生不可行动作。我希望通过环境而非智能体设计实现该约束，计划使用Ray 1.11.0作为训练框架，开发环境为Python 3.9.15、Gym 0.21.0。

请问有没有办法定义满足元素和为0的Box动作空间？或者有更优的实现方案？

方案1：在环境step()方法中修正动作（最直接） #

不需要修改动作空间的基础定义，而是在环境接收动作后自动修正，使其满足和为0的约束，同时保留元素的相对调整趋势。额外可添加元素范围校验，避免极端值越界。

示例代码：

class ResourceAllocationEnv(gym.Env):
    def __init__(self):
        super().__init__()
        # 简化为(13,)维度更符合Gym常规用法
        self.action_space = Box(low=-1., high=1., shape=(13,))
        self.observation_space = ...  # 根据你的场景定义观测空间
        # 初始化资源权重
        self.current_weights = np.array([0.0]*10 + [0.2, 0.3, 0.5])

    def step(self, action):
        # 处理(1,13)格式的动作，转为(13,)
        action = action.flatten()
        
        # 修正动作总和为0：将总和偏差平均分配到每个元素
        sum_action = np.sum(action)
        corrected_action = action - (sum_action / len(action))
        # 确保修正后元素仍在[-1,1]范围内
        corrected_action = np.clip(corrected_action, -1., 1.)

        # 更新权重，同时保证权重在[0,1]区间且和为1
        new_weights = self.current_weights + corrected_action
        new_weights = np.clip(new_weights, 0., 1.)
        # 若clip导致总和变化，再次修正权重和为1
        weight_sum = np.sum(new_weights)
        new_weights = new_weights / weight_sum

        # 自定义奖励、观测、终止条件逻辑
        reward = self.calculate_reward(new_weights)
        observation = self.get_observation(new_weights)
        done = self.is_terminated()

        self.current_weights = new_weights
        return observation, reward, done, {}

方案2：自定义动作空间类（更严谨） #

如果希望从空间层面直接约束动作，可自定义继承Gym Space的类，重写sample()和contains()方法，确保生成和验证的动作都满足和为0的条件。

示例代码：

class ZeroSumBox(gym.Space):
    def __init__(self, low, high, shape):
        self.box = Box(low=low, high=high, shape=shape)
        super().__init__(shape, self.box.dtype)

    def sample(self):
        # 先采样Box动作，再修正为和为0
        action = self.box.sample()
        sum_action = np.sum(action)
        corrected_action = action - (sum_action / self.shape[0])
        # 确保元素不越界
        return np.clip(corrected_action, self.box.low, self.box.high)

    def contains(self, x):
        # 校验动作是否满足元素范围和总和为0（允许微小浮点误差）
        return self.box.contains(x) and np.isclose(np.sum(x), 0., atol=1e-6)

# 使用自定义动作空间
action_space = ZeroSumBox(low=-1., high=1., shape=(13,))

注意：Ray RLLib对自定义空间的兼容性需测试，部分算法可能依赖标准Box空间特性，这种情况下方案1更稳妥。

方案3：降维动作空间（更高效） #

由于13维动作需满足和为0，实际自由度为12维。可将动作空间定义为12维Box，再通过计算得到第13个元素，天然满足总和为0的约束。

示例代码：

class ResourceAllocationEnv(gym.Env):
    def __init__(self):
        super().__init__()
        # 定义12维动作空间
        self.action_space = Box(low=-1., high=1., shape=(12,))
        self.observation_space = ...  # 自定义观测空间
        self.current_weights = np.array([0.0]*10 + [0.2, 0.3, 0.5])

    def step(self, action):
        # 计算第13个元素，确保总和为0
        action_13 = -np.sum(action)
        # 确保第13个元素也在[-1,1]范围内
        action_13 = np.clip(action_13, -1., 1.)
        # 组合成完整的13维动作
        full_action = np.concatenate([action, [action_13]])

        # 后续权重更新、奖励计算逻辑同方案1
        new_weights = self.current_weights + full_action
        new_weights = np.clip(new_weights, 0., 1.)
        weight_sum = np.sum(new_weights)
        new_weights = new_weights / weight_sum

        reward = self.calculate_reward(new_weights)
        observation = self.get_observation(new_weights)
        done = self.is_terminated()

        self.current_weights = new_weights
        return observation, reward, done, {}

这种方式完全避免了动作约束问题，智能体输出的动作天然符合要求，适合对动作空间严谨性要求高的场景。

内容的提问来源于stack exchange，提问作者hackr