Pandas DataFrame归一化数值列时 如何完整保留首列时间键
之前代码的核心错误点
- 直接抓取全表的数组值做缩放,把作为主键的时间列一并带入了计算流程:时间字段会被pandas自动转成大数值时间戳参与最大最小值计算,拉偏缩放区间,最终算出来的缩放值要么接近0要么全部错位
- 拟合范围错误:代码里只截取了全表的第一行数据(
df_data.values[:1])来训练缩放器,没有用到全量数值列的最大最小值,算出来的缩放结果完全不符合全局归一化的统计逻辑 - 赋值逻辑错位:新生成的缩放结果没有对齐原表的列名和索引,直接整段切片赋值会覆盖第一列的时间数据,导致时间列消失
可直接运行的正确操作流程
- 先筛选所有需要参与归一化的列,直接跳过第一列的时间主键:
# 按位置跳过第一列,取剩余所有待缩放列 target_cols = df_data.columns[1:] # 如果列名固定,直接写列名列表比按位置取更稳妥,示例: # target_cols = ["col1", "col2", "col3"] - 初始化最小最大缩放器,仅对筛选出的目标列做全量拟合转换,全程不传入时间列:
from sklearn import preprocessing min_max_scaler = preprocessing.MinMaxScaler() scaled_result = min_max_scaler.fit_transform(df_data[target_cols]) - 把缩放后的数值按原表索引、列名塞回对应位置,不触碰第一列的时间数据:
# 仅给目标列位置赋值,pandas会自动保留其他列(第一列时间)的原始值 df_data[target_cols] = scaled_result
避坑提示
- 不要直接用
df_data.values抓取全表数组做切片操作:第一列的datetime类型在转成numpy数组时会变成混合对象类型,既可能触发类型报错,也容易在赋值时出现列错位 - 拟合缩放器时一定要传入全量的待缩放数值列,不要只取单行数据做计算,否则缩放区间完全没有参考意义
- 如果之前误操作把时间列转成了数值型,在做归一化之前要先把时间列转回
datetime64[ns]类型,哪怕它不参与计算,也能避免pandas在列对齐时出现识别偏差 - 不需要单独把时间列抽出来存临时变量、最后再横向拼接回去,只要赋值范围严格限定在待缩放的数值列上,原表的非目标列会完整保留
内容的提问来源于stack exchange,提问作者SwimMaster
相关产品推荐
相关产品推荐

