tfagents Sequential网络Conv1d输入形状不匹配报错解决

Conv1D层要求输入为3维张量，默认维度顺序为(batch_size, 时间序列长度, 特征通道数)，当前报错有三个核心诱因：

1. 环境输出的观测形状为(batch_size, 1001)，是2维张量，缺少Conv1D要求的通道维度
2. 你设置的input_shape=(1,1001)不符合TensorFlow Conv1D默认的channels_last维度规则，把通道维度和序列长度维度的顺序搞反了
3. 原网络结构缺少Flatten层，卷积池化输出的3维张量无法直接输入Dense层，后续也会触发形状不匹配错误

• 第一步：在网络最前端添加Reshape层，把环境输出的2维观测转换为Conv1D要求的3维格式，同时正确设置输入形状为环境实际输出的(1001,)，不需要手动加batch维度
• 第二步：调整Conv1D及后续层的结构，在池化层和全连接层之间添加Flatten层做维度衔接
• 第三步：初始化Q网络后先做单次前向传播验证，确认输出形状符合Q值要求后再传入DqnAgent

修复后的Q网络构建代码如下：

import tensorflow as tf
from tf_agents.networks import sequential

# 按你的结构需求搭建Q网络
q_net_layer_list = [
    # 维度转换层：把(1001,)的原始观测转为(1001, 1)的3维卷积输入格式，自动适配batch维度
    tf.keras.layers.Reshape(target_shape=(1001, 1), input_shape=(1001,)),
    # 第一个卷积+池化块
    tf.keras.layers.Conv1D(filters=32, kernel_size=8, activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=2),
    # 第二个卷积+池化块
    tf.keras.layers.Conv1D(filters=64, kernel_size=4, activation='relu'),
    tf.keras.layers.MaxPool1D(pool_size=2),
    # 展平层：把卷积输出的3维张量转为1维，适配后续全连接层输入要求
    tf.keras.layers.Flatten(),
    # 全连接层
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(32, activation='relu'),
    # Q值输出层：对应3个离散动作，无激活函数
    tf.keras.layers.Dense(3)
]

q_net = sequential.Sequential(q_net_layer_list)

可以用以下代码提前验证网络形状是否正确，避免初始化DqnAgent时才触发报错：

# 从环境取一个样本步做前向测试
sample_time_step = tf_env.reset()
pred_q, network_state = q_net(sample_time_step.observation)
# 预期输出形状为(1, 3)，对应batch_size=1，3个动作的Q值
print(pred_q.shape)

• 不要随意修改Conv1D的data_format参数适配之前错误的input_shape，channels_first格式需要额外适配且不符合TF默认的张量处理逻辑，会增加后续调试成本
• Conv1D的filters、kernel_size参数可以根据训练效果调整，不影响形状匹配逻辑
• 如果后续要加更多量价特征作为观测，只需要修改Reshape层的最后一个维度值为特征数量即可，不需要调整其他层的输入设置

内容的提问来源于stack exchange，提问作者AB Music Box