TensorFlow创建新图运行CNN批量归一化时出现跨图张量异常求助

看起来你遇到的是TensorFlow中跨图操作导致的张量归属不匹配问题——你的批量归一化（BN）模块里的张量（比如BN_1/moments/Squeeze）属于默认图，但你却在新创建的图里运行它，自然会抛出ValueError。

问题根源 #

当你手动创建新的tf.Graph()时，必须确保所有模型操作、变量、张量都在这个新图的上下文环境中定义。如果你的BN函数是在默认图里定义的，或者部分操作（比如EMA、moments）不小心落到了默认图，就会出现“张量来自不同图”的冲突。

修复方案 #

下面是修正后的完整实现，核心是把所有模型逻辑（包括BN函数的调用和内部操作）都包裹在新图的上下文管理器内：

import tensorflow as tf

def batch_norm(x, beta, gamma, phase_train, scope='bn', decay=0.9, eps=1e-5):
    # 确保variable_scope绑定到当前图，同时支持变量复用
    with tf.variable_scope(scope, reuse=tf.AUTO_REUSE):
        # 计算均值和方差，操作归属当前图
        batch_mean, batch_var = tf.nn.moments(x, [0], name='moments')
        # EMA也在当前图创建
        ema = tf.train.ExponentialMovingAverage(decay=decay)
        
        def mean_var_with_update():
            # 更新EMA的操作同样属于当前图
            ema_apply_op = ema.apply([batch_mean, batch_var])
            # 确保EMA更新后再返回均值方差
            with tf.control_dependencies([ema_apply_op]):
                return tf.identity(batch_mean), tf.identity(batch_var)
        
        # 根据训练/测试模式选择均值方差来源
        mean, var = tf.cond(phase_train,
                           mean_var_with_update,
                           lambda: (ema.average(batch_mean), ema.average(batch_var)))
        # 执行批量归一化
        normed = tf.nn.batch_normalization(x, mean, var, beta, gamma, eps)
    return normed

# 完整的新图模型构建流程
def build_cnn_with_bn():
    # 创建新图
    custom_graph = tf.Graph()
    # 进入新图的上下文，所有后续操作都属于这个图
    with custom_graph.as_default():
        # 定义输入占位符
        x_input = tf.placeholder(tf.float32, shape=[None, 32, 32, 3])
        phase_train = tf.placeholder(tf.bool, name='is_training')
        
        # 第一层卷积
        conv1 = tf.layers.conv2d(x_input, filters=32, kernel_size=3, activation=tf.nn.relu)
        # 定义BN的可训练参数（beta和gamma）
        beta = tf.get_variable('bn_beta', shape=[32], initializer=tf.zeros_initializer())
        gamma = tf.get_variable('bn_gamma', shape=[32], initializer=tf.ones_initializer())
        # 应用批量归一化
        bn_conv1 = batch_norm(conv1, beta, gamma, phase_train)
        
        # 后续网络层示例（可根据需求扩展）
        flatten = tf.layers.flatten(bn_conv1)
        logits = tf.layers.dense(flatten, units=10)
        
        # 全局变量初始化操作
        init_op = tf.global_variables_initializer()
    
    return custom_graph, init_op, x_input, phase_train, logits

# 运行模型
if __name__ == '__main__':
    graph, init, x_ph, train_ph, logits = build_cnn_with_bn()
    # 会话明确指定使用我们创建的新图
    with tf.Session(graph=graph) as sess:
        sess.run(init)
        # 生成测试输入
        test_input = sess.run(tf.random_normal([32, 32, 32, 3]))
        # 训练模式下运行
        output = sess.run(logits, feed_dict={x_ph: test_input, train_ph: True})
        print(f"模型输出形状：{output.shape}")

关键注意点 #

1. 全上下文包裹：所有模型相关的定义（包括BN内部的moments、EMA）都必须在custom_graph.as_default()的代码块内，确保所有张量都属于同一个图。
2. 变量作用域复用：添加reuse=tf.AUTO_REUSE避免多次调用BN时的变量重复定义错误。
3. 会话绑定图：创建tf.Session时要明确指定graph=graph，避免默认使用系统默认图。

这样修改后，BN模块的所有操作都会归属到你创建的新图，就不会再出现张量跨图的异常了。

内容的提问来源于stack exchange，提问作者Wang Yixiong