ANN回归建模触发IndexError的排查与修复方法

报错触发场景 #

基于TensorFlow+Keras搭建ANN做回归任务，完成依赖导入、csv数据集读取、train_test_split数据集划分、preprocessing.scale特征标准化、学习率对比、多层网络搭建、EarlyStopping配置、训练集/测试集预测全流程后，在预测结果制表环节，尝试通过列名访问X_train的N60/PI/Depth(m)字段拼接结果DataFrame时抛出异常，错误信息如下：

IndexError: only integers, slices (:), ellipsis (...), numpy.newaxis (None) and integer or boolean arrays are valid indices

根本原因 #

报错和模型逻辑、训练预测环节的索引写法无关，核心问题是**sklearn.preprocessing.scale处理后，原本pandas DataFrame格式的特征集会被转换为无列名的numpy ndarray结构**。numpy数组仅支持整数、切片、布尔/整数数组类型的索引，不支持字符串形式的列名访问，因此传入字符串列名取值时会直接触发索引错误，逐行排查模型相关索引逻辑自然无法定位问题。

可直接落地的修复方案 #

• 方案1：标准化后还原DataFrame格式（推荐）
  不要用标准化输出直接覆盖原始DataFrame变量，处理完成后绑定原始列名转回DataFrame，即可保留原有的列名访问能力，示例代码：

  import pandas as pd
  from sklearn import preprocessing
  
  # 提前保存原始特征列名
  feature_columns = X_train.columns.tolist()
  # 拟合训练集标准化规则
  scaler = preprocessing.StandardScaler().fit(X_train)
  # 分别处理训练集、测试集，测试集必须用训练集的统计量做标准化，避免数据泄露
  X_train_processed = scaler.transform(X_train)
  X_test_processed = scaler.transform(X_test)
  # 转回带列名的DataFrame，同步对齐原始索引避免行错位
  X_train = pd.DataFrame(X_train_processed, columns=feature_columns, index=X_train.index)
  X_test = pd.DataFrame(X_test_processed, columns=feature_columns, index=X_test.index)
  

  处理完成后即可正常用X_train['N60']这类写法访问对应列。
• 方案2：用整数位置索引替代字符串列名
  如果不需要保留DataFrame格式，可以提前记录三个目标字段在原始特征列中的整数位置，直接用numpy索引方式取值，示例：

  # 提前确认列顺序，以下索引值需匹配你自己的csv字段顺序
  COL_N60 = 2
  COL_PI = 5
  COL_DEPTH = 0
  # 拼接结果时直接按列位置取值
  result_df['N60'] = X_train[:, COL_N60]
  result_df['PI'] = X_train[:, COL_PI]
  result_df['Depth(m)'] = X_train[:, COL_DEPTH]
  

• 方案3：用不丢失DataFrame结构的标准化写法
  直接基于pandas原生语法做标准化，全程保留DataFrame格式，从根源避免格式转换问题：

  # 计算训练集的均值、标准差
  train_mean = X_train.mean()
  train_std = X_train.std()
  # 训练集、测试集统一用训练集统计量做标准化
  X_train = (X_train - train_mean) / train_std
  X_test = (X_test - train_mean) / train_std
  

避坑提示 #

• 所有特征预处理操作（标准化、归一化、编码等）都要注意输出格式，若直接将numpy格式的输出赋值给原DataFrame变量，会丢失全部列名、行索引元信息
• 禁止单独对测试集做标准化/归一化，必须使用训练集的统计量处理测试集，否则会造成数据泄露，导致模型验证结果失真
• 出现同类索引错误时，可先执行print(type(X_train))确认变量类型，若输出为<class 'numpy.ndarray'>，即可确认是格式丢失导致的列名访问失效。

内容的提问来源于stack exchange，提问作者S.R. Sabab