实现APLS指标时遇符号张量转NumPy数组错误求解决

问题描述 #

在实现APLS（平均路径长度相似度）指标时，需将真值图和预测图转换为图结构后计算指标，但调用图像转图函数时遇到两类错误：

1. 符号张量无法转NumPy数组：调用ImageToGraph函数时触发NotImplementedError: Cannot convert a symbolic Tensor (IteratorGetNext:1) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, which is not supported.，错误出现在函数第一行image = np.array(imageArray).astype(bool)。
2. 维度不匹配：尝试用Keras后端方法处理张量后，传入skeletonize函数时出现“skeleton函数接受2D图像，但传入了5维（批量大小为5）”的问题，而真值图本身是2D图像。

当前使用的图像转图函数：

def ImageToGraph(imageArray):
    image = np.array(imageArray).astype(bool)
    skeleton = skeletonize(image)
    ske = skeleton.astype(np.uint8)
    return sknw.build_sknw(ske)

训练模型定义：

model = sm.Unet(
    'efficientnetb0', 
    classes=1,                   
    input_shape=(256, 256, 5),
    encoder_weights=None,       
    activation='sigmoid'
)
model.compile(optimizer=Nadam(lr=0.0002), loss=bce_dice_apls_loss, metrics=[dice_coef])

解决方法 #

1. 处理符号张量转NumPy的问题 #

在Keras/TensorFlow训练流程中，直接对符号张量调用np.array()不被允许，需将张量转换为可计算的数值，可通过以下两种方式解决：

方式一：用tf.numpy_function封装处理逻辑

将图像转图的NumPy逻辑包装为TensorFlow可识别的操作，兼容批量张量处理：

import tensorflow as tf
from skimage.morphology import skeletonize
import sknw
import numpy as np

def image_to_graph_np(image_np):
    # 处理单张2D图像
    image = image_np.astype(bool)
    skeleton = skeletonize(image)
    ske = skeleton.astype(np.uint8)
    return sknw.build_sknw(ske)

def ImageToGraphTensor(image_tensor):
    def process_single_image(img):
        # 移除通道维度（模型输出为(256,256,1)，需转为(256,256)）
        img_2d = tf.squeeze(img, axis=-1)
        # 将张量转NumPy处理，再转回TensorFlow可兼容类型
        graph = tf.numpy_function(image_to_graph_np, [img_2d], Tout=tf.object)
        return graph
    
    # 遍历批量中的每个图像处理
    batch_graphs = tf.map_fn(process_single_image, image_tensor, dtype=tf.object)
    return batch_graphs

方式二：训练循环外计算APLS

若APLS无需作为训练实时指标，可在模型预测完成后，将结果转为NumPy数组再调用原函数：

# 模型预测后处理
predictions = model.predict(test_data)
# 移除通道维度，转为(批量大小,256,256)的NumPy数组
predictions_2d = np.squeeze(predictions, axis=-1)
# 遍历每个样本生成图结构
for pred in predictions_2d:
    graph = ImageToGraph(pred)
    # 执行APLS计算逻辑

2. 解决维度不匹配问题 #

模型输出形状为(batch_size,256,256,1)，而skeletonize需要单张2D图像（形状(256,256)），需做两步处理：

• 用tf.squeeze或np.squeeze移除输出的通道维度
• 对批量中的每个样本单独处理（用tf.map_fn遍历张量，或在NumPy中循环）

自定义APLS指标示例 #

若需将APLS作为训练时的实时指标，可实现兼容TensorFlow的自定义Metric类：

class APLSMetric(tf.keras.metrics.Metric):
    def __init__(self, name='apls', **kwargs):
        super().__init__(name=name, **kwargs)
        self.total_apls = self.add_weight(name='total_apls', initializer='zeros')
        self.count = self.add_weight(name='count', initializer='zeros')

    def update_state(self, y_true, y_pred, sample_weight=None):
        # 移除通道维度，转为(批量大小,256,256)
        y_true_2d = tf.squeeze(y_true, axis=-1)
        y_pred_2d = tf.squeeze(y_pred, axis=-1)
        
        def compute_apls_single(true, pred):
            # 张量转NumPy数组处理
            true_np = true.numpy().astype(bool)
            pred_np = pred.numpy().astype(bool)
            
            # 生成图结构
            graph_true = sknw.build_sknw(skeletonize(true_np).astype(np.uint8))
            graph_pred = sknw.build_sknw(skeletonize(pred_np).astype(np.uint8))
            
            # 替换为你的APLS核心计算逻辑
            apls_score = calculate_apls(graph_true, graph_pred)
            return apls_score
        
        # 遍历批量计算每个样本的APLS
        batch_apls = tf.map_fn(
            lambda x: tf.numpy_function(compute_apls_single, [x[0], x[1]], Tout=tf.float32),
            (y_true_2d, y_pred_2d),
            dtype=tf.float32
        )
        
        self.total_apls.assign_add(tf.reduce_sum(batch_apls))
        self.count.assign_add(tf.cast(tf.shape(y_true)[0], tf.float32))

    def result(self):
        return self.total_apls / self.count

# 编译模型时添加该指标
model.compile(optimizer=Nadam(lr=0.0002), loss=bce_dice_apls_loss, metrics=[dice_coef, APLSMetric()])

注：需自行实现calculate_apls函数，完成基于图结构的APLS指标计算。

内容的提问来源于stack exchange，提问作者ANKIT RATHORE