在Python的sklearn DecisionTreeClassifier中使用标称值遇类型转换错误求助

问题本质 #

sklearn的DecisionTreeClassifier无法直接接收字符串类型的标称特征，尽管它逻辑上支持分类特征，但要求输入必须是数值格式，这就是你遇到could not convert string to float: 'sunny'错误的原因。

两种可行的解决方法 #

方法1：标签编码（LabelEncoder）

适合有序标称特征（如温度的high/medium/low），或不介意特征被赋予顺序的场景。需要对每个字符串特征列单独编码：

from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

features = ['outlook', 'temperature', 'humidity', 'windy']
X = df[features]
y = df.play

# 对每个特征列做标签编码
le = LabelEncoder()
for col in features:
    X[col] = le.fit_transform(X[col])

# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练并预测
clf = DecisionTreeClassifier()
clf.fit(X_train, y_train)
y_pred = clf.predict(X_test)

方法2：独热编码（OneHotEncoder）

适合无序标称特征（如outlook的sunny/overcast/rainy），避免模型错误认为特征存在大小关系。推荐用ColumnTransformer实现，同时避免数据泄露：

from sklearn.preprocessing import OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier

features = ['outlook', 'temperature', 'humidity', 'windy']
X = df[features]
y = df.play

# 拆分数据集（必须先拆分再编码，防止数据泄露）
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义编码器：对所有特征列做独热编码
ct = ColumnTransformer(
    transformers=[('encoder', OneHotEncoder(sparse_output=False, drop='first'), features)],
    remainder='passthrough'
)

# 用训练集拟合编码器并转换，再转换测试集
X_train_encoded = ct.fit_transform(X_train)
X_test_encoded = ct.transform(X_test)

# 训练并预测
clf = DecisionTreeClassifier()
clf.fit(X_train_encoded, y_train)
y_pred = clf.predict(X_test_encoded)

注意事项 #

• 独热编码会增加特征维度，若特征类别过多可能导致维度爆炸，此时可考虑使用目标编码（Target Encoding），但需注意过拟合风险。
• 必须先拆分训练集和测试集，再对训练集拟合编码器，不能先编码整个数据集再拆分，否则会导致测试集信息泄露给模型，影响泛化能力。

内容的提问来源于stack exchange，提问作者frogger