基于StableBaselines3的PPO Boid智能体无法学习聚群行为

我基于OpenAI Gym搭建了自定义Boid聚群环境，采用StableBaselines3中的PPO算法，目标是实现类似Reynold模型的聚群效果（包含个体对齐、凝聚、分离三大规则的群体协同运动），但智能体始终无法有效学习。

相关信息：

• Reynold模型核心规则：个体通过对齐（匹配附近同伴的运动方向）、凝聚（向同伴中心移动）、分离（避免与同伴过度靠近）三大规则形成聚群行为
• Reynold模型示意图：直观展示上述三大规则的个体交互逻辑
• 已完成自定义环境及PPO训练代码的开发
• 训练100000步后的结果：
  • 当前Boid效果：个体无明显聚群倾向，未呈现预期的群体协同运动状态
  • TensorBoard监控数据：回报值无持续上升趋势，训练曲线波动杂乱，未出现学习收敛的迹象

我已尝试调整calculate_reward函数，试图引导智能体表现出符合Reynold模型的行为，但未见到明显改善。

内容的提问来源于stack exchange，提问作者Hamza