You need to enable JavaScript to run this app. tf.GradientTape内编写扩散模型循环逻辑导致内存溢出崩溃问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

tf.GradientTape内编写扩散模型循环逻辑导致内存溢出崩溃问题咨询

TensorFlow梯度带内循环导致内存溢出的解决方案

问题根因

内存持续上涨问题由两个核心错误写法导致:

  • 被tf.function隐式装饰的train_step方法内部,使用Python层循环遍历tf.data.Dataset对象。TensorFlow图执行模式会为每次循环迭代生成独立的计算图节点,且不会自动清理冗余节点,每轮训练都会新增内存占用。
  • tf.GradientTape默认记录作用域内所有可微张量,循环过程中每一步的中间计算结果都会被保留用于梯度回传,多轮迭代后中间张量持续堆积最终触发内存崩溃。

修复方案

核心改造点是把Python层循环替换为TensorFlow图兼容的循环写法,避免冗余计算图节点生成:

  1. 移除train_step内的tf.data.Dataset定义,直接用tf.range生成循环步数,AutoGraph会自动将对应for循环转换为图内可复用的tf.while_loop结构,不会新增冗余节点。
  2. 补全原代码中遗漏的损失指标初始化逻辑,避免额外运行时错误。

修复后完整可运行代码

import numpy as np
import tensorflow as tf
from tensorflow import keras


class Test(tf.keras.Model):
    def __init__(self, encoder, **kwargs):
        super(Test, self).__init__(**kwargs)
        self.encoder = encoder
        # 补全损失指标初始化
        self.reconstruction_loss_tracker = keras.metrics.Mean(name="reconstruction_loss")
    
    @property
    def metrics(self):
        # 自定义指标需要加入metrics列表,保证每轮epoch结束后自动重置
        return [self.reconstruction_loss_tracker]

    def call(self, inputs):
        return inputs

    def train_step(self, x0):
        num_steps = 3
        with tf.GradientTape() as tape:
            x = x0
            # 改用tf.range生成循环步数,适配图执行模式
            for step in tf.range(num_steps):
                y = self.encoder(x, training=True)
                x = x + y
            reconstruction_loss = tf.reduce_sum(keras.losses.MSE(x, x0), axis=-1)

        grads = tape.gradient(reconstruction_loss, self.encoder.trainable_weights)
        self.optimizer.apply_gradients(zip(grads, self.encoder.trainable_weights))

        self.reconstruction_loss_tracker.update_state(reconstruction_loss)
        return {"reconstruction_loss": self.reconstruction_loss_tracker.result()}

def main():
    epochs = 100
    # encoder
    encoder_inputs = keras.Input(shape=(1,))
    x = keras.layers.Dense(512, activation="relu")(encoder_inputs)
    x = keras.layers.Dense(256, activation="tanh")(x)
    y = keras.layers.Dense(1, name="z_mean")(x)
    encoder = keras.Model(encoder_inputs, y, name="encoder")

    test = Test(encoder, name="diffusion-model")
    test.compile(optimizer=keras.optimizers.Adam())
    test.fit(
        tf.constant(np.arange(0, 10, 1), dtype=tf.float32),
        epochs=epochs,
        batch_size=1
    )

if __name__ == "__main__":
    main()

如果你的扩散模型循环步数非常多,还可以在不需要求梯度的中间计算步骤加上tf.stop_gradient显式阻断梯度记录,进一步降低内存占用。

内容的提问来源于stack exchange,提问作者Edv Beq

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 16:45:02