Sklearn中结合ColumnTransformer与Pipeline时，如何匹配特征与回归系数

修正后的可运行代码 #

假设你的数据中x2包含11个类别（独热编码drop='first'后生成10个特征，加上x1的3次多项式变换（含bias）的4个特征，总特征数14，对应14个系数），以下是完整解决方案：

import numpy as np
import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import PolynomialFeatures, OneHotEncoder
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression

# 构造模拟数据（匹配14个系数的场景）
np.random.seed(42)
df = pd.DataFrame({
    'x1': np.random.rand(100),
    'x2': np.random.choice([f'cat{i}' for i in range(11)], 100)
})
# 构造对应x1多项式项和x2类别效应的目标变量
y = 2*df['x1']**3 + 3*df['x1']**2 + 4*df['x1'] + \
    df['x2'].map({f'cat{i}': i+1 for i in range(11)}) + \
    np.random.randn(100)*0.1

# 定义预处理转换器：给每个步骤命名，方便后续调用
preprocessor = ColumnTransformer(
    transformers=[
        # 对x1做3次多项式变换，保留bias项
        ('poly_x1', PolynomialFeatures(degree=3, include_bias=True), ['x1']),
        # 对x2做独热编码，丢弃第一个类别避免多重共线性
        ('ohe_x2', OneHotEncoder(sparse_output=False, drop='first'), ['x2'])
    ])

# 构建Pipeline：预处理+线性回归（关闭模型自带截距，因为poly已生成bias项）
model_pipeline = Pipeline([
    ('preprocessor', preprocessor),
    ('regressor', LinearRegression(fit_intercept=False))
])

# 拟合模型
model_pipeline.fit(df, y)

# 关键：从预处理步骤获取输出特征名
feature_names = model_pipeline.named_steps['preprocessor'].get_feature_names_out()
# 获取模型系数（直接对应14个特征）
coefficients = model_pipeline.named_steps['regressor'].coef_

# 把特征名和系数对应起来，方便查看
feature_coef_map = pd.DataFrame({
    '特征名': feature_names,
    '系数值': coefficients
})
print(feature_coef_map)

问题根源及解决要点 #

1. 错误调用get_feature_name_out
   不能直接在Pipeline或LinearRegression上调用该方法，必须通过model_pipeline.named_steps['preprocessor']拿到ColumnTransformer实例后再调用——只有预处理类（ColumnTransformer、PolynomialFeatures等）才支持这个方法。

2. PolynomialFeatures与LinearRegression的截距设置冲突

   • 如果PolynomialFeatures设include_bias=True（默认），必须把LinearRegression的fit_intercept设为False，否则模型会额外学习一个截距，导致系数数和特征数不匹配。
   • 若不想保留poly生成的bias项，就把include_bias=False，同时LinearRegression用默认的fit_intercept=True，此时系数数等于特征数，截距单独存在于model.intercept_中。

3. 独热编码参数规范
   设置sparse_output=False（新版本sklearn默认是True），避免处理稀疏矩阵的麻烦；加上drop='first'可以避免多重共线性，同时减少特征数量。

4. 特征列传入格式
   ColumnTransformer中指定处理的列时，要用列表形式（比如['x1']），而非单独的字符串'x1'——规范写法能避免潜在报错。

验证对应关系 #

运行代码后，你会看到：

• 前4个特征是poly_x1__x0（bias项）、poly_x1__x1（x1）、poly_x1__x1^2（x1²）、poly_x1__x1^3（x1³）
• 后面10个特征是独热编码后的ohe_x2__x2_cat1到ohe_x2__x2_cat10
• 每一行的系数值与特征一一对应，解决匹配问题。

内容的提问来源于stack exchange，提问作者user032020