Sklearn提示数据集含NaN但实际无缺失值的问题求助

虽然你确认数据无缺失值，但报错提示存在NaN，大概率是隐性缺失值或数据类型/列匹配问题，以下是具体排查和解决步骤：

1. 彻底确认特征集的真实缺失情况 #

不要只凭主观判断，用代码全面检查：

# 1. 统计每列的NaN数量
print(X.isna().sum())

# 2. 检查特征列的数据类型（object类型可能藏着非数值"缺失值"，比如空字符串、"NA"）
print(X.dtypes)

# 3. 检查object类型列的具体值，排查非标准缺失值
for col in X.columns:
    if X[col].dtype == object:
        print(f"列 {col} 的唯一值：{X[col].unique()}")

# 4. 排查无穷大值（sklearn同样不接受inf）
print("正无穷数量：")
print((X == float('inf')).sum())
print("负无穷数量：")
print((X == float('-inf')).sum())

2. 检查特征列与数据集的匹配性 #

新添加列后，可能存在列名拼写/格式不一致（比如空格、大小写差异），导致特征集取出的列全为NaN：

# 对比数据集列名和特征列列表
print("数据集所有列：", data.columns.tolist())
print("特征列列表：", feature_cols)

# 找出不存在于数据集中的特征列
missing_cols = [col for col in feature_cols if col not in data.columns]
if missing_cols:
    print(f"⚠️ 以下特征列在数据集中不存在：{missing_cols}")

3. 处理发现的问题 #

情况1：存在非标准缺失值（如空字符串、"NA"） #

将列转为数值类型，把无法转换的值强制转为NaN，再做填充或删除：

# 批量转换为数值类型
for col in feature_cols:
    X[col] = pd.to_numeric(X[col], errors='coerce')

# 选择填充（比如用均值）
from sklearn.impute import SimpleImputer
imputer = SimpleImputer(strategy='mean')
X_processed = imputer.fit_transform(X)

# 重新分割数据并训练
X_train, X_test, y_train, y_test = train_test_split(X_processed, y, test_size=0.3, random_state=1)
clf = RandomForestClassifier(n_estimators=100)
clf.fit(X_train, y_train)

情况2：列名不匹配 #

修正特征列列表中的列名，确保和数据集列名完全一致（包括空格、大小写）。

情况3：存在无穷大值 #

替换或删除含inf的样本：

# 替换inf为NaN，再做填充
X = X.replace([float('inf'), float('-inf')], pd.NA)
X_processed = imputer.fit_transform(X)

内容的提问来源于stack exchange，提问作者Ivan Anderies