TensorFlow类别型数据填充层适配问题：含np.nan数组转张量失败

嘿，这个问题我之前也遇到过，其实核心是解决Pandas混合类型数组转Tensor的 dtype 冲突问题，同时还要保留你的自定义Imputation层适配两种数据类型的能力。我给你一个完整的解决方案，不用提前预处理输入数组的类型，完全在模型内部搞定：

问题根源拆解 #

首先，Pandas里同时包含字符串和np.nan的列会被标记为object dtype，而np.nan本质是float类型——TensorFlow没法直接把这种混合类型的object数组转成张量，这就是你看到ValueError的原因。我们需要先把输入统一成TensorFlow支持的类型，再在Imputation层里区分处理。

解决方案：Lambda预处理层 + 改进版自定义Imputation层 #

1. 先写一个Lambda层统一输入格式

这个层会把所有输入转成字符串类型，同时把np.nan替换成一个统一的占位符（比如<NA>），这样TensorFlow就能顺利把数组转成字符串张量了：

import tensorflow as tf
import numpy as np

def standardize_input(x):
    # 将numpy的nan转成字符串占位符，同时把所有元素转成字符串
    x = tf.where(tf.math.is_nan(x), tf.constant('<NA>', dtype=tf.string), tf.strings.as_string(x))
    return x

# 实例化Lambda层
preprocess_layer = tf.keras.layers.Lambda(standardize_input)

2. 改进你的自定义Imputation层

我们给层加一个column_types参数，用来指定每一列是浮点型还是类别型，然后在call方法里分别处理：

class ImputationLayer(tf.keras.layers.Layer):
    def __init__(self, column_types, fill_strategy='mean', **kwargs):
        super().__init__(**kwargs)
        self.column_types = column_types  # 列表，比如['float', 'categorical', 'categorical']
        self.fill_strategy = fill_strategy  # 浮点型可选'mean'/'median'，类别型自动用众数
        self.fill_values = []  # 存储每一列的填充值

    def build(self, input_shape):
        # 为每一列创建可训练（实际是固定的）的填充值变量
        for col_type in self.column_types:
            if col_type == 'float':
                self.fill_values.append(self.add_weight(shape=(), initializer='zeros', trainable=False))
            elif col_type == 'categorical':
                self.fill_values.append(self.add_weight(shape=(), dtype=tf.string, initializer='zeros', trainable=False))
        super().build(input_shape)

    def call(self, inputs):
        outputs = []
        for idx in range(inputs.shape[1]):
            col = tf.expand_dims(inputs[:, idx], axis=1)
            col_type = self.column_types[idx]
            fill_val = self.fill_values[idx]

            if col_type == 'float':
                # 把字符串转成float，占位符会变成NaN
                col_float = tf.strings.to_number(col, out_type=tf.float32)
                # 替换NaN为填充值
                mask = tf.math.is_nan(col_float)
                filled_col = tf.where(mask, fill_val, col_float)
                outputs.append(filled_col)
            elif col_type == 'categorical':
                # 替换占位符为众数填充值
                mask = tf.equal(col, '<NA>')
                filled_col = tf.where(mask, fill_val, col)
                outputs.append(filled_col)
        # 拼接所有处理后的列
        return tf.concat(outputs, axis=1)

    def adapt(self, data):
        # 适配训练数据，计算每一列的填充值
        for idx, col_type in enumerate(self.column_types):
            col_data = data[:, idx]
            if col_type == 'float':
                # 转成float后过滤NaN，计算均值/中位数
                col_float = tf.strings.to_number(col_data, out_type=tf.float32)
                valid_vals = tf.boolean_mask(col_float, ~tf.math.is_nan(col_float))
                if self.fill_strategy == 'mean':
                    fill_val = tf.reduce_mean(valid_vals)
                elif self.fill_strategy == 'median':
                    # 简单实现中位数计算
                    sorted_vals = tf.sort(valid_vals)
                    mid_idx = tf.shape(sorted_vals)[0] // 2
                    fill_val = sorted_vals[mid_idx]
                self.fill_values[idx].assign(fill_val)
            elif col_type == 'categorical':
                # 统计众数
                unique_vals, counts = tf.unique(col_data)
                max_count_idx = tf.argmax(counts)
                fill_val = unique_vals[max_count_idx]
                self.fill_values[idx].assign(fill_val)

3. 构建并训练模型

这里假设你的数据有3列：Age（浮点）、Cabin（类别）、Embarked（类别）：

# 1. 读取数据（不用预处理np.nan！直接用Pandas读的原数组）
import pandas as pd
df = pd.read_csv('your_data.csv')
train_data = df[['Age', 'Cabin', 'Embarked']].values  # 此时是object dtype
train_labels = df['Survived'].values

# 2. 构建模型
input_layer = tf.keras.layers.Input(shape=(3,), dtype=tf.string)
preprocessed = preprocess_layer(input_layer)
imputed = ImputationLayer(column_types=['float', 'categorical', 'categorical'], fill_strategy='median')(preprocessed)

# 拆分处理不同类型的特征（可选，根据你的下游任务调整）
age_feature = tf.keras.layers.Lambda(lambda x: x[:, 0:1])(imputed)
cabin_feature = tf.keras.layers.Lambda(lambda x: x[:, 1:2])(imputed)
embarked_feature = tf.keras.layers.Lambda(lambda x: x[:, 2:3])(imputed)

# 类别特征转Embedding
cabin_lookup = tf.keras.layers.StringLookup()(cabin_feature)
cabin_emb = tf.keras.layers.Embedding(input_dim=10, output_dim=4)(cabin_lookup)
embarked_lookup = tf.keras.layers.StringLookup()(embarked_feature)
embarked_emb = tf.keras.layers.Embedding(input_dim=4, output_dim=2)(embarked_lookup)

# 拼接所有特征并输出
concat_features = tf.keras.layers.concatenate([age_feature, tf.squeeze(cabin_emb, axis=1), tf.squeeze(embarked_emb, axis=1)])
output = tf.keras.layers.Dense(1, activation='sigmoid')(concat_features)

model = tf.keras.Model(inputs=input_layer, outputs=output)

# 3. 适配Imputation层和Lookup层（必须在编译前做）
model.get_layer('imputation_layer').adapt(train_data)
model.get_layer('string_lookup').adapt(train_data[:, 1:2])
model.get_layer('string_lookup_1').adapt(train_data[:, 2:3])

# 4. 编译训练
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(train_data, train_labels, epochs=10, batch_size=32)

关键说明 #

• 不用提前修改输入数组的类型：直接把Pandas读出来的object dtype数组喂给模型即可，Lambda层会自动统一成字符串张量。
• 灵活适配两种数据类型：通过column_types参数明确指定每列的类型，Imputation层会分别用均值/中位数填充浮点列，用众数填充类别列。
• 完全在模型内部处理：所有预处理逻辑都封装在模型层里，方便部署和复用。

内容的提问来源于stack exchange，提问作者Mateusz Konopelski