机器学习模型训练测试集防记忆：新增测试数据后评估方案咨询

核心原则：始终保证训练集与所有测试数据（原测试集+新增测试集）的药品名无重叠，以此确保评估结果能反映模型对药品语境的真实识别能力，而非对特定药品名的记忆。

具体操作步骤：

• 先处理新增测试数据：提取新增测试集中的所有药品名，与**原始训练集（未做替换操作的版本）**中的药品名做比对，将新增测试集中重复出现的药品名替换为未在训练集中出现过的通用占位符（比如[药品X]这类统一标识）。
• 无需重新替换训练集词汇或重新训练模型：原训练集已经完成了“移除与原测试集重叠药品名”的处理，模型已经学习到了医保政策中药品相关的语境模式（比如“XX在以下情况可报销”这类句式里的核心识别逻辑），只要新增测试集完成了上述去重替换，直接用原模型评估即可。

例外情况：如果新增测试数据涉及大量原训练集未覆盖的全新药品类型、报销语境，导致原模型的泛化能力存疑，此时可以考虑扩充训练集（补充对应语境的数据，同时保证新训练集与全量测试集无重叠药品名）后重新训练，但这属于模型迭代优化，而非常规评估的必要步骤。

内容的提问来源于stack exchange，提问作者Arthur Lee