Pairwise连接神经网络代码验证及相关技术问题咨询

原代码问题分析 #

你要构建的是8输入→两两配对连接到4个隐藏节点→全连接到3输出的网络，但原代码存在核心结构偏差：

• 每个Dense(2)会输出2个节点，拼接后隐藏层实际是8个节点，而非预期的4个
• 未根据输出范围（0-1）设置合适的输出层激活函数
• 输入未做归一化，可能影响训练稳定性

修改后的代码 #

import tensorflow as tf
from tensorflow import keras
import numpy as np

# 加载数据
X_train = np.loadtxt('input.txt')
y_train = np.loadtxt('output.txt')

# 输入归一化（针对1-10的输入范围）
normalizer = keras.layers.Normalization(axis=-1)
normalizer.adapt(X_train)

# 构建网络
inputs = keras.layers.Input(shape=(8,))
x = normalizer(inputs)

# 两两配对输入连接到单个隐藏节点（共4个隐藏节点）
hidden_node1 = keras.layers.Dense(1, activation='relu')(x[:, 0:2])
hidden_node2 = keras.layers.Dense(1, activation='relu')(x[:, 2:4])
hidden_node3 = keras.layers.Dense(1, activation='relu')(x[:, 4:6])
hidden_node4 = keras.layers.Dense(1, activation='relu')(x[:, 6:8])

# 拼接4个隐藏节点
hidden_layer = keras.layers.concatenate([hidden_node1, hidden_node2, hidden_node3, hidden_node4])

# 输出层：根据任务选择激活函数
# 多分类任务（输出为类别概率，和为1）：用softmax+categorical_crossentropy
outputs = keras.layers.Dense(3, activation='softmax')(hidden_layer)
# 多标签任务（输出独立0-1概率）：用sigmoid+binary_crossentropy
# outputs = keras.layers.Dense(3, activation='sigmoid')(hidden_layer)

model = keras.models.Model(inputs, outputs)

# 编译模型：匹配输出层选择损失函数
model.compile(optimizer='adam', 
              loss='categorical_crossentropy',  # 多分类用这个；多标签用'binary_crossentropy'
              metrics=['accuracy'])

# 训练：小数据集可适当降低epochs，batch_size=1可行但训练速度慢
model.fit(X_train, y_train, epochs=200, batch_size=1)

疑问解答 #

1. model.summary显示11层的原因 #

Keras会把所有操作节点都算作层：

• 1个Input层
• 4个Lambda层：你写的data[:,0:2]这类切片操作会被Keras自动封装为Lambda层，无训练参数
• 4个Dense层（对应原代码中的node1-node4）
• 1个Concatenate层：拼接操作对应的层
• 1个输出Dense层
  总计1+4+4+1+1=11层，符合显示结果。

2. 权重为空或偏置为0的原因 #

• i=0-4及i=9为空：i=0是Input层，本身无训练参数；i=1-4是切片用的Lambda层，仅做数据切片无参数；i=9是Concatenate层，仅拼接数据无参数，所以权重为空。
• i=5-8的偏置为0：Keras中Dense层的偏置默认初始值为0，若训练轮数不足或数据量极小，偏置可能还未更新；另外原代码中每个Dense(2)的输入是2维、输出2维，所以权重矩阵是(2,2)，偏置是2个，初始状态就是0。

3. TensorFlow可视化网络结构的方法 #

有两种常用方式：

• plot_model生成静态图：
  先安装依赖pip install pydot graphviz，然后执行代码：

  from tensorflow.keras.utils import plot_model
  plot_model(model, to_file='network_structure.png', 
             show_shapes=True, show_layer_names=True, rankdir='TB')
  

  会生成包含输入输出形状、层名称的网络结构图。
• TensorBoard交互式可视化：
  在训练时添加TensorBoard回调，实时查看网络结构、训练曲线：

  tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir='./logs')
  model.fit(X_train, y_train, epochs=200, batch_size=1, callbacks=[tensorboard_callback])
  

  然后在终端执行tensorboard --logdir=./logs，打开浏览器访问提示的地址即可查看。

4. 8-4-3单网络 vs 3个8-4-1网络的精度差异 #

两者的精度差异取决于任务类型和数据集：

• 多分类任务（3互斥类别）：8-4-3单网络更优。它共享4个隐藏节点的参数，能更高效利用小数据集的信息，避免3个独立网络各自过拟合；且输出层用softmax保证概率和为1，符合分类逻辑。
• 多标签任务（3独立输出）：3个8-4-1网络可能更灵活，每个网络专注于单个输出任务，可独立优化。但小数据集下，单网络共享参数的泛化能力可能更强，3个独立网络更容易因数据不足过拟合。

内容的提问来源于stack exchange，提问作者Theiden