sklearn PowerTransformer对不同输入返回相同值的解决方法咨询

问题本质 #

你遇到的情况是浮点数精度限制+Yeo-Johnson变换在特定参数下的特性共同导致的：
当lambda为负数（你的lambda=-3.2028），且输入x远大于1时，Yeo-Johnson变换公式((x+1)^lambda - 1)/lambda的变化率极低。具体来说：

• (x+1)^lambda等价于1/(x+1)^|lambda|，当x很大时，这个值趋近于0，整个变换结果会趋近于(0-1)/lambda = 1/3.2028 ≈ 0.3122，和你看到的输出一致。
• 此时x的微小变化（比如你的输入仅相差0.0006左右），会被(x+1)^3.2的巨大分母稀释，导致变换值的差异小到被64位浮点数的精度（约1e-16）掩盖，所以输出看起来几乎相同。手动计算用numpy或math库也会遇到同样的精度问题。

解决办法 #

1. 先对输入做前置缩放/变换 #

把大数值的输入压缩到更小的范围，让输入的微小变化能在变换后体现出来：
比如先做对数变换，再应用PowerTransformer：

import numpy as np
from sklearn.preprocessing import PowerTransformer

# 前置对数变换
log_x = np.log(bad_array + 1)
# 用PowerTransformer处理对数后的数据
pt_log = PowerTransformer(method='yeo-johnson', standardize=False)
transformed_log = pt_log.fit_transform(log_x)

2. 改用更适合大数值的变换方式 #

如果核心需求是让连续输入的变换值有区分度，可以替换变换方法：

• 对数变换：直接用np.log(x+1)，大x下的变化率比负lambda的Yeo-Johnson更高；
• 平方根变换：np.sqrt(x)，适合正数值的缩放；
• Box-Cox变换（需输入严格为正）：如果训练数据允许，Box-Cox在大x下的表现可能更符合预期。

3. 用高精度计算保留差异 #

如果必须使用当前的Yeo-Johnson变换，可以用Python的decimal模块进行高精度计算，避免浮点数精度损失：

from decimal import Decimal, getcontext

# 设置高精度位数
getcontext().prec = 30
lambda_val = Decimal("-3.2028635015981934")

def yeo_johnson_high_precision(x):
    x_dec = Decimal(str(x[0]))
    term = (x_dec + 1) ** lambda_val
    res = (term - 1) / lambda_val
    return float(res)

# 处理数据
high_prec_transformed = [yeo_johnson_high_precision(x) for x in bad_array]

这样计算出来的结果会保留更多小数位的差异，但计算速度会变慢，适合小批量数据。

4. 重新评估变换的必要性 #

检查训练数据和新数据的分布是否一致：如果新数据的数值远大于训练数据，拟合得到的lambda可能并不适配新数据。可以考虑重新用新数据拟合PowerTransformer的lambda，或者调整变换策略以匹配新数据的分布。

内容的提问来源于stack exchange，提问作者Roman