神经网络：未知总类别场景下的分类方案及TripletNet痛点优化问询

Google Photos人脸分组的核心逻辑 #

你观察到的未知人脸自动分组能力，本质是「人脸嵌入表征+离线聚类」的两级链路，并未用到能直接输出未知类别的特殊分类器，技术路径和你当前使用的TripletNet属于同一方向：

• 预训练阶段仅训练嵌入模型学习「同类样本向量距离近、异类样本向量距离远」的规则，不需要覆盖所有可能的分类类别
• 对单个用户的全量相册人脸，先统一转换为特征向量，再做批量密度聚类，聚类过程会做相似度传递截断，避免A_B、BC就将A、C归为一类的错误
• 用户标注某一分组后，后续新增人脸仅需和已有分组的特征质心比对，不需要逐张匹配历史样本

现有TripletNet方案的痛点优化 #

你遇到的四个问题属于流式开放集识别的典型共性问题，不需要更换基础网络架构，仅优化后处理链路即可解决：

• 针对「清空数据库后相同样本ID不一致」：对模型输出的特征向量做固定规则的哈希编码（如局部敏感哈希LSH），只要模型权重不变，相同输入的特征向量一致，生成的ID就固定，完全不依赖数据库存储
• 针对「比对耗时随存储量线性增长」：引入Faiss等开源向量检索引擎做近似最近邻查询，查询复杂度可低至O(logN)；类别收敛后可预计算每个类的特征质心，仅比对质心即可实现常数级查询效率
• 针对「分类结果依赖输入顺序」：放弃逐张匹配最相似样本的流式逻辑，定期对全量未标注特征向量做批量聚类，更新对应类的质心即可解决相似度传递的错误聚合问题；如果必须支持实时分类，可在新增样本匹配时同时校验和TopK近邻类的相似度，仅当多个近邻都符合阈值才归为同一类
• 针对「新类随机生成ID」：结合上述哈希方案，直接用新类的质心向量的哈希值作为类ID，不需要随机生成，同一个类无论什么时候被聚类出来，质心偏差在阈值内即可生成相同ID

如果需要进一步提升表征精度，也可以将TripletNet替换为对比学习预训练的网络（如SimCLR系列），不需要构造三元组训练数据，训练效率和表征效果都会更优。

内容的提问来源于stack exchange，提问作者AweSIM