Stable Baselines中用spaces.Discrete表示0-100类整数观测范围是否合适？

你担心的邻近语义丢失问题完全不是多虑。Discrete空间的设计初衷是承载无内置大小、邻近关系的分类变量，它默认每个可选值是完全独立的标签，网络不会天然知道51和52的数值差远小于51和1的数值差。如果不对Discrete的嵌入向量做特殊处理，相邻取值对应的向量在初始阶段是完全随机分布的，模型需要消耗大量样本量才能反向学习到生命值的数值梯度关系，甚至可能完全学错“生命值越低越危险”的基本逻辑。
另外提一个容易算错的细节：如果要覆盖0-100的完整取值，Discrete需要写为Discrete(101)，如果写Discrete(100)实际只能表示0-99的范围，容易出现观测值越界的报错。

针对当前库不兼容Tuple复合观测空间的限制，优先推荐用全量展平的Box空间作为统一观测接口，完全绕开空间类型不支持的问题：

• 把所有状态统一转换为固定长度的浮点向量：将0-100的生命值线性缩放到[0,1]区间（即除以100），作为向量的第一维；其余的离散状态变量，根据是否有连续语义选择直接缩放或者OneHot编码，依次拼接到这个向量后面。最终整个观测空间直接定义为Box(low=0, high=1, shape=(总状态维度,), dtype=np.float32)，这个格式是所有版本Stable Baselines都原生支持的。
• 如果部分离散状态没有相邻数值语义（比如道具类别、任务阶段这类取值间不存在大小逻辑的变量），可以用MultiDiscrete承载这部分状态，不要把有连续数值语义的生命值塞进MultiDiscrete的维度里——本质上MultiDiscrete的每个维度和独立Discrete的逻辑完全一致，塞进去同样会丢失生命值的邻近语义。

• 别为了凑MultiDiscrete的格式，把生命值拆成多位二进制编码嵌入，这种方式的向量关联度远不如直接放归一化的连续值，模型收敛速度会慢很多。
• 如果因为场景限制必须用Discrete承载生命值，记得在策略网络的输入层给生命值对应的嵌入部分加上固定的位置关系约束，强制让数值越接近的取值，嵌入向量的距离越近，抵消Discrete本身的语义缺失问题。
• 别只做了观测值的展平转换，却保留原来的Tuple空间定义，Stable Baselines会在初始化网络时校验观测空间类型，必须把空间定义同步改成对应的Box/MultiDiscrete类型才能正常运行。

内容的提问来源于stack exchange，提问作者Jay