Keras生成器能否返回列表而非numpy数组？报错求助

核心问题 #

当tf.keras.utils.Sequence的__getitem__方法返回列表形式的X时，Keras会将列表中的每个numpy数组视为独立的输入张量，而你的全卷积CNN只定义了一个输入接口，因此触发ValueError。

解决步骤 #

1. 用RaggedTensor统一输入格式 #

如果要保留图像可变尺寸的特性，可通过tf.ragged.stack()将列表中的numpy数组转换为单个RaggedTensor，既保留尺寸灵活性，又能作为单输入传递给模型：

def __getitem__(self, idx):
    # 假设X_batch、y_batch是numpy数组组成的列表
    X_batch = self.data[idx*self.batch_size : (idx+1)*self.batch_size]
    y_batch = self.labels[idx*self.batch_size : (idx+1)*self.batch_size]
    
    # 列表转RaggedTensor
    X_ragged = tf.ragged.stack(X_batch)
    y_ragged = tf.ragged.stack(y_batch)
    
    return X_ragged, y_ragged

2. 适配模型输入层 #

全卷积CNN的输入层需要明确支持RaggedTensor，在定义时添加ragged=True参数：

input_layer = tf.keras.layers.Input(shape=(None, None, 3), ragged=True)
x = tf.keras.layers.Conv2D(64, (3,3), activation='relu')(input_layer)
# 后续按需求添加卷积、池化等层
model = tf.keras.Model(inputs=input_layer, outputs=output_layer)

3. 替代方案：动态padding统一batch尺寸 #

如果不想用RaggedTensor，可在每个batch加载时，将图像padding到当前batch的最大尺寸，再转换为固定形状的numpy数组：

def __getitem__(self, idx):
    X_batch = self.data[idx*self.batch_size : (idx+1)*self.batch_size]
    y_batch = self.labels[idx*self.batch_size : (idx+1)*self.batch_size]
    
    # 计算当前batch的最大宽高
    max_h = max(img.shape[0] for img in X_batch)
    max_w = max(img.shape[1] for img in X_batch)
    
    # 对每个图像做padding
    X_padded = [np.pad(img, ((0, max_h - img.shape[0]), (0, max_w - img.shape[1]), (0,0)), mode='constant') for img in X_batch]
    y_padded = [np.pad(mask, ((0, max_h - mask.shape[0]), (0, max_w - mask.shape[1]), (0,0)), mode='constant') for mask in y_batch]
    
    return np.array(X_padded), np.array(y_padded)

关键说明 #

• 方法1能正常运行，是因为返回的是固定形状的单numpy数组，Keras识别为单个输入；方法2返回列表时，Keras会将列表元素拆分为多个独立输入，与模型输入接口不匹配。
• 使用RaggedTensor时，Keras大部分内置卷积、池化层都支持其操作，无需额外修改。

内容的提问来源于stack exchange，提问作者Andrew