如何在TensorFlow中保存迭代检查点与最佳模型且避免覆盖？

这个问题我之前做项目时也碰到过，核心是要理清迭代检查点和最佳模型的保存逻辑，避免文件冲突或者不必要的覆盖。先帮你分析下当前代码的潜在问题，再给出具体的解决办法：

问题根源 #

你当前的代码里，迭代检查点会生成iter-0、iter-1这类带epoch后缀的文件，最佳模型是固定的best_model文件名，理论上不会直接覆盖，但可能有两个让你误以为“被覆盖”的情况：

1. 每次保存迭代检查点时，TensorFlow会自动更新根目录下的checkpoint文本文件，把最新的保存路径设为当前迭代检查点，导致checkpoint不再指向最佳模型，但实际的最佳模型文件并没有被删除或覆盖；
2. 如果后续epoch又得到了更好的验证精度，再次执行saver.save(sess, "best_model")会直接覆盖之前的最佳模型文件——如果这不是你想要的，就需要调整。

解决方案 #

方案1：让checkpoint始终指向最佳模型

如果你只是不想让迭代检查点的保存操作修改checkpoint文件，确保它始终记录最新的最佳模型路径，可以在保存迭代检查点时添加write_state=False参数：

saver = tf.train.Saver()
with tf.Session() as sess:
    best_validiation_acc = 0.0  # 初始化最佳验证精度
    for epoch in range(20):
        # 模型训练逻辑
        [...]
        # 保存迭代检查点，不更新checkpoint文件
        saver.save(sess, "iter", global_step=epoch, write_state=False)
        
        # 计算当前验证集精度
        last_validation_acc = [...]
        
        if best_validiation_acc < last_validation_acc:
            best_validiation_acc = last_validation_acc
            # 保存最佳模型，此时会更新checkpoint文件指向该模型
            saver.save(sess, "best_model")

方案2：保留所有历史最佳模型（不覆盖旧模型）

如果你希望每次得到更优的验证结果时，都保存一个独立的最佳模型文件（不覆盖之前的），可以给最佳模型的文件名加上epoch或精度标识：

saver = tf.train.Saver()
with tf.Session() as sess:
    best_validiation_acc = 0.0
    for epoch in range(20):
        # 模型训练逻辑
        [...]
        saver.save(sess, "iter", global_step=epoch)
        
        last_validation_acc = [...]
        
        if best_validiation_acc < last_validation_acc:
            best_validiation_acc = last_validation_acc
            # 用epoch和精度作为文件名后缀，避免覆盖旧的最佳模型
            saver.save(sess, f"best_model_epoch_{epoch}_acc_{best_validiation_acc:.4f}")

补充说明 #

• 迭代检查点和最佳模型的文件是完全独立的，只要文件名不重复，就不会互相覆盖；
• 恢复模型时，你可以指定具体的文件名，比如saver.restore(sess, "best_model")或者saver.restore(sess, "iter-5")，不受checkpoint文件的默认指向影响。

内容的提问来源于stack exchange，提问作者Hooked