在Keras TensorFlow模型中使用ModelCheckpoint触发ValueError问题

问题根源 #

直接修改预训练模型层的私有属性_name会导致Keras内部权重命名空间混乱，当ModelCheckpoint尝试保存权重时，HDF5文件中会出现重复的数据集名称，触发ValueError: Unable to create dataset (name already exists)错误。此外，将预训练模型作为子模型整合进新模型时，若层名称未完全隔离，也会加剧命名冲突。

解决方案 #

方案1：通过公共API正确重命名预训练模型的层 #

避免直接修改私有属性_name，改用层的name公共属性重命名，确保所有层名称唯一：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import Input, Dense, ELU

img_input = Input((96,96,3), name='img_input')

# 加载预训练模型
img_model = keras.models.load_model("img_model/saved_model")
img_model.load_weights('img_model/checkpoint/mdl_wts.hdf5')
img_model.trainable = False

# 公共API重命名所有层，添加后缀+索引确保绝对唯一
for idx, layer in enumerate(img_model.layers):
    layer.name = f"{layer.name}_img_{idx}"

# 构建特征提取子模型
new_img_model = keras.Model(
    inputs=img_model.input, 
    outputs=img_model.layers[-4].output, 
    name='feature_extractor'
)
# 提取特征
img_features = new_img_model(img_input)

# 构建后续全连接层（显式命名避免冲突）
img = Dense(128, name='fc_1')(img_features)
img = Dense(16, name='fc_2')(img)
img = ELU(name='activation_elu')(img)

# 输出层
output = Dense(1, activation='relu', name='Final_Output')(img)

# 构建完整迁移学习模型
model = keras.Model(inputs=img_input, outputs=output, name='transfer_model')

方案2：使用clone_model复制并批量重命名层 #

利用Keras的clone_model函数，通过自定义克隆逻辑批量修改层名，更安全规范：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import Input, Dense, ELU

def rename_layer(layer):
    # 给每个层添加唯一后缀
    layer.name = f"{layer.name}_img"
    return layer

# 加载原预训练模型
original_img_model = keras.models.load_model("img_model/saved_model")
original_img_model.load_weights('img_model/checkpoint/mdl_wts.hdf5')

# 克隆模型并同时重命名所有层
cloned_img_model = keras.models.clone_model(
    original_img_model,
    clone_function=rename_layer
)
# 复制原模型权重
cloned_img_model.set_weights(original_img_model.get_weights())
cloned_img_model.trainable = False

# 后续构建完整模型的步骤同方案1
img_input = Input((96,96,3), name='img_input')
img_features = cloned_img_model(img_input)

img = Dense(128, name='fc_1')(img_features)
img = Dense(16, name='fc_2')(img)
img = ELU(name='activation_elu')(img)

output = Dense(1, activation='relu', name='Final_Output')(img)
model = keras.Model(inputs=img_input, outputs=output, name='transfer_model')

验证层名称唯一性 #

修改完成后，可打印所有层名称确认无重复：

def print_all_layers(model):
    for layer in model.layers:
        print(layer.name)
        # 递归打印子模型的内部层
        if hasattr(layer, 'layers'):
            for sub_layer in layer.layers:
                print(f"  └── {sub_layer.name}")

print_all_layers(model)

内容的提问来源于stack exchange，提问作者amba88