使用convert_to_tensor转换可变长度numpy.ndarray标签为TensorFlow张量报错如何解决

报错原因 #

• 你的training_labels本身是object类型的numpy数组，内部每个元素是第一维长度不统一的二维数组，TensorFlow不支持直接将这种嵌套的不规整数组转换为普通张量，所以会抛出类型不支持的报错。
• 单独转换每个子数组能成功，是因为单条标签本身是维度规整的纯数值numpy数组，符合张量转换要求。

解决方案 #

方案1：通过不规则张量（RaggedTensor）转换（推荐） #

直接用TensorFlow原生的不规则张量接口适配动态长度的数组，一行代码就能完成转换，后续可以直接导出为padding后的规整张量：

# 先将嵌套数组转为不规则张量
ragged_labels = tf.ragged.constant(training_labels.tolist())
# 按需要填充为规整张量，default_value可以自定义填充值
padded_labels = ragged_labels.to_tensor(default_value=0)

输出的padded_labels形状为(样本总数, 所有样本最大M值, 5)，符合你要的规整矩形张量要求。

方案2：numpy层面先手动padding再转换 #

如果不想使用RaggedTensor，也可以先在numpy侧统一所有标签的长度，再整体转张量：

# 计算所有样本的最大长度M
max_m = max(arr.shape[0] for arr in training_labels)
padded_label_list = []
for label in training_labels:
    # 对长度不足的标签在末尾补0，最后一维固定为5不需要补
    padded = np.pad(label, pad_width=((0, max_m - label.shape[0]), (0, 0)), mode="constant", constant_values=0)
    padded_label_list.append(padded)
# 直接转换为规整张量
padded_labels = tf.convert_to_tensor(padded_label_list)

内容的提问来源于stack exchange，提问作者Me Bottle O Scrumpy