TensorFlow预处理数据：.NET部署模型时编码器处理方案咨询

一、保存独立编码器的方法 #

如果你的预处理是用sklearn的LabelEncoder、StandardScaler这类工具实现的，直接用joblib或pickle保存编码器即可：

from sklearn.preprocessing import LabelEncoder, StandardScaler
import joblib

# 处理分类列并保存LabelEncoder
le = LabelEncoder()
le.fit(train_data["category_column"])
joblib.dump(le, "label_encoder.joblib")

# 处理数值列并保存标准化器
scaler = StandardScaler()
scaler.fit(train_data["numeric_column"].values.reshape(-1, 1))
joblib.dump(scaler, "numeric_scaler.joblib")

部署到.NET时，可以用ML.NET的Load方法直接读取这些文件，或者自行解析文件内容实现编码逻辑，ML.NET对sklearn的序列化格式支持较好。

二、TensorFlow中集成预处理层（替代ColumnTransform） #

TensorFlow提供了原生的预处理层，可以像sklearn的ColumnTransform那样为每列单独设置处理逻辑，最终拼接成特征输入模型，步骤如下：

1. 定义各列的预处理分支 #

针对分类列和数值列分别构建预处理流程：

import tensorflow as tf
from tensorflow.keras import layers

# 分类列输入与预处理
cat_input = layers.Input(shape=(1,), name="category_col", dtype=tf.string)
# 字符串转索引（需传入训练集的唯一值列表）
cat_lookup = layers.StringLookup(vocabulary=train_data["category_col"].unique())(cat_input)
# 可选：转独热编码，也可以用Embedding层替代
cat_encoded = layers.CategoryEncoding(num_tokens=len(train_data["category_col"].unique()), output_mode="one_hot")(cat_lookup)

# 数值列输入与预处理
num_input = layers.Input(shape=(1,), name="numeric_col")
# 归一化层，拟合训练集的均值方差
num_norm = layers.Normalization(axis=None)(num_input)
num_norm.adapt(train_data["numeric_col"])

2. 拼接特征并构建完整模型 #

把各列预处理后的结果拼接，再连接后续的全连接层：

# 拼接所有预处理特征
concat_features = layers.Concatenate()([cat_encoded, num_norm])

# 构建预测分支
dense1 = layers.Dense(32, activation="relu")(concat_features)
output = layers.Dense(1, activation="linear")(dense1)

# 定义完整模型
model = tf.keras.Model(inputs=[cat_input, num_input], outputs=output)

# 编译训练
model.compile(optimizer="adam", loss="mse")
model.fit(
    {"category_col": train_data["category_col"], "numeric_col": train_data["numeric_col"]},
    train_labels,
    epochs=10
)

# 保存包含预处理层的完整模型
model.save("model_with_preprocessing.h5")

优势 #

• 预处理逻辑完全集成在模型中，部署到.NET时只需加载整个模型，无需单独管理编码器
• 输入原始数据即可直接得到预测结果，不需要额外做编码/归一化操作

内容的提问来源于stack exchange，提问作者Mieczmik