如何用其他网络权重初始化网络？合并网络保留原权重的加载疑问

你之前直接给变量的initializer赋值是行不通的，因为initializer是TensorFlow用来初始化变量的操作对象，不是可以直接赋值的属性。要把保存好的numpy权重加载到新网络变量中，得用TensorFlow的assign操作来完成，下面给你两种靠谱的方法：

方法一：逐个变量用tf.assign赋值 #

这是最直接的方式，适合你已经把权重保存成numpy字典的场景，步骤如下：

1. 先定义好你的新网络结构，确保新网络的变量名和你保存权重时的变量名完全匹配（比如原来的变量叫conv1/kernel:0，新网络也要有同名变量）；
2. 在会话中通过assign操作把numpy数组赋值给对应变量。

示例代码：

import tensorflow as tf

# 1. 定义你的新网络结构（这里只是示例，替换成你的实际网络）
def build_new_network():
    with tf.variable_scope("conv1"):
        kernel = tf.get_variable("kernel", shape=[3,3,3,64])
    with tf.variable_scope("fc1"):
        weights = tf.get_variable("weights", shape=[1024,10])
    # 其他层...

build_new_network()

# 2. 加载你之前保存的numpy权重字典（假设已经读取到内存中）
saved_weights = ...  # 你的weights字典，键是变量名，值是numpy数组

with tf.Session() as sess:
    # 先初始化所有变量（可选，但能避免未初始化的报错）
    sess.run(tf.global_variables_initializer())
    
    # 遍历所有全局变量，逐个赋值
    for var in tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES):
        if var.name in saved_weights:
            # 创建赋值操作并执行
            assign_op = var.assign(saved_weights[var.name])
            sess.run(assign_op)
            print(f"Successfully loaded weight for {var.name}")
        else:
            print(f"Warning: No saved weight found for variable {var.name}")

方法二：改用tf.train.Saver更高效（适合后续保存/加载） #

如果以后还要频繁做这类操作，建议你下次保存权重时直接用TensorFlow的Saver类保存成checkpoint格式，加载起来更方便：

保存时的代码： #

with tf.Session() as sess:
    # 初始化原网络并训练后
    saver = tf.train.Saver()
    saver.save(sess, "./my_model.ckpt")

加载到新网络的代码： #

# 定义新网络（变量名要和原网络一致）
build_new_network()

with tf.Session() as sess:
    saver = tf.train.Saver()
    saver.restore(sess, "./my_model.ckpt")
    print("All weights loaded successfully!")

关键注意点： #

• 不管用哪种方法，变量名必须严格匹配，包括后缀的:0（TensorFlow默认给变量加的后缀）；
• 如果新网络和原网络的变量名有差异，你需要手动创建一个映射字典，把原变量名和新变量名对应起来，再进行赋值。

内容的提问来源于stack exchange，提问作者user3902310