如何在Keras模型中基于输入特征实现空值的条件分支处理？

针对你的需求，核心思路是为每个输入分支添加空值判断逻辑：当输入为空时直接输出对应维度的零向量，否则走正常的编码流程。以下是具体实现步骤和代码：

一、预处理准备 #

先统一空值的标记方式，确保模型能识别空输入：

• 对于x1（离散特征）：将所有null值替换为0（需保证0不是x1的有效类别值，若冲突可换其他未使用的整数）。
• 对于x2（长文本）：空文本经Tokenizer处理后，用pad_sequences填充为与正常文本序列长度一致的全0序列（因为无法添加特殊token，全0序列作为空标记）。

二、分支编码逻辑实现 #

使用Keras的Lambda层结合TensorFlow的tf.cond实现条件分支，确保空输入时输出零向量：

1. x1分支（离散特征编码） #

import tensorflow as tf
from tensorflow.keras.layers import Input, Embedding, Dense, Lambda
from tensorflow.keras.models import Model

def encode_x1(x):
    # 判断当前输入样本是否为空（全为0）
    is_empty = tf.reduce_all(tf.equal(x, 0), axis=1, keepdims=True)
    # 正常编码路径：Embedding + Dense
    embedded = Embedding(input_dim=1000, output_dim=64)(x)  # input_dim为x1的类别总数
    squeezed = tf.squeeze(embedded, axis=1)  # 压缩维度为(batch_size, 64)
    encoded = Dense(64, activation='relu')(squeezed)
    # 空输入时返回零向量
    zero_vec = tf.zeros_like(encoded)
    # 根据空值判断结果选择输出
    return tf.cond(is_empty, lambda: zero_vec, lambda: encoded)

2. x2分支（预训练LM文本编码） #

假设已加载好预训练语言模型的Embedding权重，流程如下：

from tensorflow.keras.layers import GlobalAveragePooling1D

def encode_x2(x):
    # 判断当前文本序列是否为空（全为0）
    is_empty = tf.reduce_all(tf.equal(x, 0), axis=1, keepdims=True)
    # 正常编码路径：预训练Embedding + 全局平均池化 + Dense
    # 加载预训练Embedding（trainable=False表示不微调）
    pretrained_embedding = Embedding(
        input_dim=10000,  # 预训练LM的词汇表大小
        output_dim=128,   # 预训练Embedding的维度
        weights=[pretrained_weights],  # 预训练权重矩阵
        trainable=False
    )
    embedded = pretrained_embedding(x)
    pooled = GlobalAveragePooling1D()(embedded)  # 长文本池化为固定维度
    encoded = Dense(64, activation='relu')(pooled)
    # 空输入时返回零向量
    zero_vec = tf.zeros_like(encoded)
    # 根据空值判断结果选择输出
    return tf.cond(is_empty, lambda: zero_vec, lambda: encoded)

三、组装完整模型 #

将两个分支的输出求和，得到最终模型：

# 定义输入层
x1_input = Input(shape=(1,), dtype='int32')  # x1为单值离散特征
x2_input = Input(shape=(100,), dtype='int32')  # x2为长度100的文本序列

# 处理两个分支
x1_encoded = Lambda(encode_x1)(x1_input)
x2_encoded = Lambda(encode_x2)(x2_input)

# 分支输出求和
final_output = tf.keras.layers.Add()([x1_encoded, x2_encoded])

# 构建并查看模型
model = Model(inputs=[x1_input, x2_input], outputs=final_output)
model.summary()

关键注意事项 #

• 确保tf.cond的两个分支输出形状完全一致，否则会触发维度不匹配错误。
• 若x1是多值离散特征（如多个ID组成的序列），需调整is_empty的判断逻辑为tf.reduce_all(tf.equal(x, 0), axis=1)（根据输入维度调整keepdims参数）。
• 预训练Embedding的权重需提前加载，确保与Tokenizer的词汇表完全对应。

内容的提问来源于stack exchange，提问作者dendog