TensorFlow中pad_sequences处理数组后原有数据错乱问题求助

你在练习LSTM掩码填充时遇到的问题，根源在于tf.keras.preprocessing.sequence.pad_sequences的设计场景：它默认针对一维序列（比如词索引序列）处理，当传入(length,4)的多维数组时，会自动将每个样本展平为一维，填充后再尝试重构形状，直接破坏了原有的二维数据结构，导致原有数据错乱。

修复方案 #

可以通过手动填充或使用TensorFlow原生的tf.pad函数来处理多维序列，保持数据结构完整：

方法1：手动实现多维填充

import numpy as np
import tensorflow as tf

max_length = 8
X = []

for i in range(5):
    length = np.random.randint(1, max_length+1)
    data = np.random.randn(length, 4)
    X.append(data)

mask_val = -1
X_padded = []
for seq in X:
    # 计算需要填充的长度
    pad_len = max_length - seq.shape[0]
    # 在序列末尾填充与特征维度匹配的mask值
    padded_seq = np.concatenate([seq, np.full((pad_len, 4), mask_val)], axis=0)
    X_padded.append(padded_seq)
# 转换为numpy数组
X_padded = np.array(X_padded)

方法2：使用tf.pad函数

import numpy as np
import tensorflow as tf

max_length = 8
X = []

for i in range(5):
    length = np.random.randint(1, max_length+1)
    data = np.random.randn(length, 4)
    X.append(data)

mask_val = -1
X_padded = []
for seq in X:
    # 定义填充规则：仅在序列长度维度（第一个维度）的末尾填充
    pad_config = [[0, max_length - seq.shape[0]], [0, 0]]
    padded_seq = tf.pad(seq, pad_config, constant_values=mask_val)
    X_padded.append(padded_seq)
# 转换为统一的张量格式
X_padded = tf.stack(X_padded).numpy()

两种方法都能保证原有(length,4)的数据结构不被破坏，仅在序列长度维度的末尾填充指定的mask值，后续可以正常用于LSTM的掩码处理。

内容的提问来源于stack exchange，提问作者sergey_208