VAE模型报错：KerasTensor与TensorFlow函数不兼容问题求助

环境配置 #

• Spark版本：3.4.0
• Python版本：3.9.16
• TensorFlow版本：2.17.0

问题描述 #

构建用于欺诈数据填补的VAE（变分自编码器）模型，模型配置如下：

• 输入维度：250
• 隐层维度：32

调用impute_data_vae模块中的build_vae_model方法时触发报错，错误详情：

A KerasTensor cannot be used as input to a TensorFlow function. A KerasTensor is a symbolic placeholder for a shape and dtype, used when constructing Keras Functional models or Keras Functions. You can only use it as input to a Keras layer or a Keras operation (from the namespaces keras.layers and keras.operations). You are likely doing something like:

x = Input(...)

...

tf_fn(x)  # Invalid.

What you should do instead is wrap tf_fn in a layer:

class MyLayer(Layer):

    def call(self, x):

        return tf_fn(x)
x = MyLayer()(x)

原本计划调整build_vae_model方法，将TensorFlow函数封装到Keras层中，寻求同类经验或最佳实践建议。

问题排查与解决 #

经排查，报错根源是直接对Keras张量（z_mean、z_log_var）调用TensorFlow原生操作（tf.shape和tf.random.normal），这不符合Keras的使用规范。按照报错提示实现自定义Sampling层：

from tensorflow.keras.layers import Layer

class Sampling(Layer):
    def call(self, inputs):
        z_mean, z_log_var = inputs
        batch = tf.shape(z_mean)[0]
        dim = tf.shape(z_mean)[1]
        epsilon = tf.random.normal(shape=(batch, dim))
        return z_mean + tf.exp(0.5 * z_log_var) * epsilon

将该自定义层集成到VAE模型后，报错得以解决，确保所有TensorFlow操作都纳入Keras模型的流水线中。

内容的提问来源于stack exchange，提问作者Mich Talebzadeh