Set Transformer中PMA层后添加SAB层是否为强制要求？

你的推测具备合理性 #

• 机器人位置空间数据的核心可能在于局部空间特征的独立性：每个PMA种子向量大概率对应捕捉不同区域的位置模式（比如不同方向的障碍物分布、智能体集群的局部结构），直接拼接这些独立表征能保留更多细粒度的空间信息。而SAB层强制建模种子间的全局相关性，反而可能抹平这些局部差异，导致模型丢失关键的空间细节。
• 任务特性决定了需求：如果你的预测任务（比如路径规划、智能体位置预测）需要直接利用多维度的独立空间线索，而非整合后的全局关联，那么保留PMA的无关联输出自然更适配任务需求。

不添加SAB层的做法并非错误 #

Set Transformer论文中的建议是通用场景下的设计思路，但特定数据集和任务往往需要针对性调整：

• 论文中提出k>1时加SAB层，初衷是让种子向量互相交换信息，生成更全局的集合表征。但如果你的数据本身不需要这种全局关联，或者PMA层已经通过注意力机制捕捉到了足够的局部-全局关联，额外的SAB层反而会引入冗余计算，甚至破坏PMA生成的有效表征。
• 机器学习中，实验指标是判断方案合理性的核心依据：你的实验已经明确验证了直接拼接的有效性，只要能稳定提升预测精度，这种针对性调整就是完全合理的，不存在“错误”一说。

额外建议 #

• 可以进一步分析PMA的k个输出向量的特征：比如可视化每个种子对应的注意力权重，观察是否确实对应不同的空间区域或模式，以此验证你的推测。
• 尝试在拼接后添加一个轻量级的MLP层（而非SAB），看看是否能在保留独立表征的同时，做少量特征融合，可能进一步提升模型效果。

内容的提问来源于stack exchange，提问作者useeeeer132