TensorFlow机器学习模型能否训练含None/Null值的数据集？

TensorFlow无法直接训练包含None/Null值的数据集，不管是使用Keras高层API还是低级TensorFlow操作，输入数据中的缺失值都会触发计算错误——因为模型只能处理数值型张量输入，非数值的缺失值无法参与矩阵运算。

针对你提到的“不能用0填充（0是实际有效值）”的问题，推荐以下几种合理的缺失值处理方案：

• 均值/中位数填充：针对数值型特征，用该列的均值或中位数填充缺失值，适合缺失是随机分布的场景。比如你示例中的Column B，可用现有非空值的中位数（100）填充，Column C用现有非空值的中位数（2）填充。
  实现示例：

  import tensorflow as tf
  import pandas as pd
  
  # 构造示例数据
  df = pd.DataFrame({
      'Column A': [50, 2],
      'Column B': [None, 100],
      'Column C': [2, None]
  })
  
  # 中位数填充
  df['Column B'] = df['Column B'].fillna(df['Column B'].median())
  df['Column C'] = df['Column C'].fillna(df['Column C'].median())
  
  # 转换为TensorFlow训练数据集
  train_dataset = tf.data.Dataset.from_tensor_slices((df[['Column A', 'Column B']].values, df['Column C'].values))
  

• 缺失标记+占位填充：将有缺失的特征拆分为两部分：原数值列（用任意占位值填充，比如0）+ 一个二进制标记列（1表示该位置缺失，0表示非缺失）。这样模型能同时学习到数值信息和缺失本身的关联，避免0带来的误导。
  实现示例：

  # 为Column C添加缺失标记列
  df['Column C_missing'] = df['Column C'].isnull().astype(int)
  # 用0占位填充（此时0仅为占位，模型会通过标记列识别缺失）
  df['Column C'] = df['Column C'].fillna(0)
  

• 删除缺失样本：如果缺失的行占比极低（比如小于5%），且删除后不会导致数据分布偏差，可以直接移除含缺失值的行。但这种方法只适合缺失量极小的场景。

• Masking层（针对序列数据）：如果你的数据是时间序列这类序列型数据，可以使用tf.keras.layers.Masking层，指定一个掩码值（比如-1）来标记缺失位置，模型会自动忽略这些位置的计算。

关键提醒：绝对不要直接用有效值（比如你的场景中的0）填充缺失值，这会让模型错误地将缺失和该有效值建立关联，严重影响训练效果。

内容的提问来源于stack exchange，提问作者Shawn Hunter