如何在Keras/TensorFlow中实现层内神经元输出的相乘操作？

不存在根本性的技术限制，你可以直接用现有API实现，也可以自定义层封装，两种方案都很简单：

方案1：直接用内置函数实现 #

不需要自定义层，直接调用tf.reduce_prod即可实现需求，代码如下：

import tensorflow as tf
from tensorflow.keras.layers import Dense

# 此处input_layer为你的输入层，n_unit为dense层的单元数
dense_layer = Dense(n_unit)(input_layer)
# 沿最后一个维度（即dense层单元所在维度）相乘，keepdims=True保持输出为二维张量，适配后续层输入要求
next_layer = tf.reduce_prod(dense_layer, axis=-1, keepdims=True)

如果你使用的是旧版本Keras，也可以用K.prod接口实现，逻辑完全一致：

from keras import backend as K

next_layer = K.prod(dense_layer, axis=-1, keepdims=True)

方案2：自定义层封装 #

如果你需要把这个操作封装为可复用的标准层，也可以很轻松实现：

from tensorflow.keras.layers import Layer

class UnitMultiplyLayer(Layer):
    def __init__(self, **kwargs):
        super().__init__(**kwargs)
    
    def call(self, inputs):
        return tf.reduce_prod(inputs, axis=-1, keepdims=True)
    
    def compute_output_shape(self, input_shape):
        return (input_shape[0], 1)

# 调用方式
dense_layer = Dense(n_unit)(input_layer)
next_layer = UnitMultiplyLayer()(dense_layer)

注意事项 #

如果你的dense层输出存在负数或者0，相乘后的结果可能会出现梯度消失问题：多个绝对值小于1的数相乘后结果会快速趋近于0，导致后续梯度无法正常回传，这是业务逻辑本身的特性，不是框架限制，你可以根据自身场景判断是否需要对dense层的输出添加激活函数或者做数值截断处理。

内容的提问来源于stack exchange，提问作者Ali Shirali