Keras 2.4.3/TensorFlow 2.4.1对接NumPy型外部库的自定义层实现与Eager失效解决

• 适配当前TF2.4.1 + Keras2.4.3版本时，层内eager执行失效的核心触发点有三个：
  1. 全局tf.config.run_functions_eagerly(True)仅覆盖TensorFlow底层函数执行逻辑，不会自动同步Keras层的图构建trace行为
  2. 代码中显式调用tf.keras.Input创建输入层，会强制触发静态计算图构建流程，后续Lambda层内的函数会被强制trace为图执行模式，此时传入的输入是符号图Tensor而非eager Tensor，调用tf.keras.backend.eval、tensor.numpy()这类需要取实际数值的方法，就会触发'Tensor' object has no attribute 'tensor_shape'报错
  3. 当前版本的Lambda层对eager模式的兼容性存在缺陷，即使开启全局和编译级eager开关，层内函数仍可能被默认按图模式执行。

1. 全链路配置eager执行开关 #

需要同时完成三项配置，缺一不可：

• 全局开启底层eager执行：tf.config.run_functions_eagerly(True)
• 移除显式tf.keras.Input层，将输入shape直接传入首层网络的input_shape参数，避免触发静态图构建
• 模型编译时强制开启eager模式：model.compile(..., run_eagerly=True)

2. 用自定义层替代Lambda层对接外部NumPy库 #

当前版本下，自定义tf.keras.layers.Layer子类的eager兼容性远高于Lambda层，可直接在call方法内完成张量与NumPy数组的转换，对接纯NumPy实现的外部物理模拟逻辑。
转换注意事项：eager模式下直接调用tensor.numpy()完成张量转NumPy数组，用tf.convert_to_tensor()完成NumPy数组转返回张量，不要使用tf.keras.backend.eval、tf.keras.backend.variable、tf.make_ndarray这类会触发静态图追踪的接口。

3. 修复原复现代码的错误点 #

• 移除硬编码batch维度的NumPy数组初始化逻辑，改用np.empty_like匹配实际输入形状，避免形状不匹配报错
• 替换Lambda层为自定义类，去除内部的图模式不兼容代码

修复后可直接运行的完整代码 #

import numpy as np
import tensorflow as tf

# 全局开启eager执行
tf.config.run_functions_eagerly(True)
print(tf.executing_eagerly()) # 输出验证为True

# 模拟对接外部纯NumPy物理模拟库（接收、返回NumPy数组）
def external_physics_sim(input_np):
    # 替换为实际物理模拟逻辑
    array = input_np + 0.2
    out = np.empty_like(array)
    out[:] = array[:]
    return out

# 自定义层对接外部模拟库
class ExternalSimLayer(tf.keras.layers.Layer):
    def call(self, inputs):
        print(tf.executing_eagerly()) # 输出验证为True，eager生效
        # 张量转NumPy数组
        input_np = inputs.numpy()
        # 调用外部物理模拟逻辑
        sim_output_np = external_physics_sim(input_np)
        # NumPy数组转回张量返回
        return tf.convert_to_tensor(sim_output_np, dtype=tf.float32)

samples = 20
sample_dim = 10

x = np.empty([20,10], dtype = np.float32)
y = np.empty([20,10], dtype = np.float32)

for i in range(samples):
    x[i,:] = np.array([j + i for j in range(10)], dtype = np.float32)/10
    y[i,:] = x[i,:] + 0.1

model = tf.keras.Sequential([
    # 不添加显式Input层，直接给首层传输入shape
    tf.keras.layers.Dense(sample_dim, activation="relu", input_shape=(sample_dim,)),
    ExternalSimLayer(),
    tf.keras.layers.Dense(sample_dim, activation="relu")
])
model.build()
# 编译时强制开启eager模式
model.compile(optimizer='sgd', loss="mse", run_eagerly=True)
model.fit(x, y, batch_size=10, epochs=10)

补充说明 #

• 若后续需要对外部NumPy逻辑做梯度回传，可将外部逻辑用tf.py_function包装，自动对接TF的梯度计算图
• 该写法完全适配TF2.4.1/Keras2.4.3版本，不会触发之前的eager失效、张量属性报错问题

内容的提问来源于stack exchange，提问作者Edric Matviev