sklearn中StandardScaler为何测试集仅用transform不做fit操作

你的理解完全正确：测试集的特征缩放必须使用训练集计算得到的均值、标准差，绝不能在测试集上单独执行fit()/fit_transform()操作，这是机器学习预处理阶段必须遵守的规范，核心原因如下：

• 测试集的定位是模拟模型上线后遇到的、建模阶段完全不可见的未知真实数据。整个建模流程（包括预处理的统计量计算、模型参数训练）只能使用训练集的信息，一旦在预处理阶段用到了测试集的任何统计特征，就属于数据泄露，最终得到的测试集评估结果会虚高，模型上线后面对真实数据性能会大幅下跌。
• 标准化的计算逻辑是对每个特征做 (样本值 - 特征均值) / 特征标准差，这里用到的均值、标准差必须是仅从训练集统计得到的基准值，之后不管是验证集、测试集还是未来上线的新数据，都要统一套用这组基准值做转换，才能保证所有数据的缩放逻辑和模型训练时看到的数据分布一致。
• 如果对测试集单独执行fit()，相当于用测试集自身的均值、标准差缩放测试集，等于提前把测试集的分布信息泄露到了预处理步骤，模型评估结果完全不具备参考性。举个极端例子：如果测试集某特征整体比训练集偏移2个标准差，单独fit测试集会把这个偏移完全抹掉，模型根本没学习过如何处理这种分布差异，上线后必然失效。

你给出的代码是完全符合规范的标准写法：

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)

代码执行逻辑拆解：

1. 初始化StandardScaler实例sc，此时实例内部没有存储任何统计量
2. 对训练集执行fit_transform：先在训练集上计算所有特征的均值、标准差，存储到sc实例内部，再用这组统计量完成训练集的缩放转换
3. 对测试集仅执行transform：直接调用之前从训练集计算得到的均值、标准差完成测试集缩放，全程不读取、不使用测试集自身的统计信息，完全符合建模流程要求。

注意新手常见错误：不要图省事把训练集和测试集拼接后统一做fit_transform再拆分数据集，这种操作和在测试集上单独fit本质一样，都会造成数据泄露，导致评估结果失真。

内容的提问来源于stack exchange，提问作者Satyam Puranik