Kaggle泰坦尼克号项目报错:X特征数与DecisionTreeClassifier要求不符
问题原因
你单独对训练集和测试集执行pd.get_dummies做独热编码,两个数据集生成的独热特征列不一致:
- 第4步你给训练集的
Embarked字段缺失值填充了u,所以训练集的Embarked有4种取值:C、Q、S、u,独热编码后生成4个特征列 - 第7步你只给测试集填充了
Age和Fare的缺失值,没有处理Embarked的缺失值,测试集的Embarked只有3种取值:C、Q、S,独热编码后只生成3个特征列
两者相加后,训练集X总共有11个特征,测试集X_test只有10个特征,所以预测时会报特征数不匹配的错误。
修复方案
方案1:统一填充测试集的Embarked缺失值
把第7步的填充逻辑修改为和训练集一致,补充Embarked的缺失值填充规则:
test_data = test_data.fillna(value = {'Age' :0, 'Fare' :0, 'Embarked':'u'})
方案2:独热编码后对齐特征列
如果不想修改填充逻辑,也可以在做完独热编码后,让测试集对齐训练集的列,缺失的列补0即可,修改后的第9单元格完整代码如下:
y = train_data["Survived"] features = ["Pclass", "Sex", "SibSp", "Parch", "Age", "Fare", "Embarked"] X = pd.get_dummies(train_data[features]) X_test = pd.get_dummies(test_data[features]) # 新增特征列对齐代码,以训练集列为准,测试集缺失列补0 X, X_test = X.align(X_test, join='left', axis=1, fill_value=0) model = RandomForestClassifier(n_estimators=100, max_depth=8, random_state=1) model.fit(X, y) predictions = model.predict(X_test) output = pd.DataFrame({'PassengerId': test_data.PassengerId, 'Survived': predictions}) output.to_csv('my_submission.csv', index=False) print("Your submission was successfully saved!")
内容的提问来源于stack exchange,提问作者zen_d
相关产品推荐
相关产品推荐

