使用Keras DQN库报错：期望3维输入却得到(1,1)数组

疑问解答 #

1. TensorFlow从何处获取(1,1)形状？
   Keras-RL的DQNAgent默认对字典类型观测的处理逻辑存在缺陷，未指定自定义处理器时，它无法正确解析字典中的有效观测数据，反而可能将字典的结构标识或错误提取的字段作为输入，导致输入被错误压缩为(1,1)的形状。同时你定义的模型期望3维输入，但DQNAgent未按该格式传递数据，进一步加剧了形状不匹配问题。

2. 为何重塑输入后仍报错？
   你尝试的重塑操作未作用于DQNAgent实际读取的观测数据。DQNAgent直接从环境返回的字典中获取输入，若没有自定义处理器拦截并转换数据，你的重塑代码无法影响到模型接收的输入，自然无法解决形状问题。

具体解决步骤 #

1. 实现自定义观测处理器 #

针对字典类型观测，必须通过自定义Processor类提取有效数据并调整形状，确保与模型输入匹配：

from rl.core import Processor

class CustomObsProcessor(Processor):
    def __init__(self, flat_obs_dim):
        self.flat_obs_dim = flat_obs_dim

    def process_observation(self, observation):
        # 替换为你字典中存储观测的实际键名，比如'observation'
        raw_obs = observation['obs']
        # 调整为模型期望的3维输入形状
        return raw_obs.reshape(1, self.flat_obs_dim)

    def process_state_batch(self, batch):
        # 处理批量数据，确保形状为(batch_size, 1, flat_obs_dim)
        return batch.reshape(-1, 1, self.flat_obs_dim)

初始化DQNAgent时传入该处理器：

processor = CustomObsProcessor(self.flat_obs)
dqn = DQNAgent(model=model, nb_actions=nb_actions, policy=policy, memory=memory,
               nb_steps_warmup=30, gamma=.99, target_model_update=100,
               train_interval=4, processor=processor)

2. 优化模型输入形状（可选） #

Dense层本质是处理2维输入（(batch_size, feature_num)），若你的观测是扁平向量，可简化模型输入定义，避免不必要的3维维度：

def dqn_model(self):
    model = Sequential()
    model.add(Dense(64, input_shape=(self.flat_obs,)))  # 2维输入，更符合Dense层常规用法
    model.add(Activation('relu'))
    # 添加后续层...

对应修改处理器的形状转换逻辑：

class CustomObsProcessor(Processor):
    def __init__(self, flat_obs_dim):
        self.flat_obs_dim = flat_obs_dim

    def process_observation(self, observation):
        raw_obs = observation['obs']
        return raw_obs.flatten()  # 扁平化为(flat_obs_dim,)的2维输入基础形状

    def process_state_batch(self, batch):
        return batch.reshape(-1, self.flat_obs_dim)

3. 验证观测数据的实际形状 #

在训练前添加测试代码，确认字典中有效观测的形状是否符合预期：

obs = env.reset()
print("观测字典键:", obs.keys())
print("有效观测形状:", obs['obs'].shape)  # 替换为你的实际键名

确保该形状与模型输入形状匹配，避免因键名错误或观测维度不符导致的问题。

内容的提问来源于stack exchange，提问作者Ai_Nebula