Python中用for循环批量实现独热编码并保存数组的问题

看起来你在把分步的单特征独热编码改成循环实现时遇到了两个核心问题：无法更新原列表中的数据框，以及没有正确保存npy文件。咱们一步步来修复：

问题分析 #

你的循环代码里有几个关键问题：

1. 变量赋值不生效：在Python中，num_x = ...这种赋值只是修改了局部变量num_x的引用，并不会改变all_x列表中对应的元素。原列表里的对象还是原来的未处理数据框。
2. OneHotEncoder参数过时：categorical_features='all'在scikit-learn 0.22版本之后已经被弃用，建议使用sparse_output=False（直接输出数组，不用调用.toarray()），针对单列场景可以简化操作。
3. 潜在的特征对应问题：你的分步代码里X6/X7/X8都是单特征数据框，要确保all_x里的元素确实是这些单列数据，而不是包含多列的原始数据。

修正后的代码方案 #

方案1：直接循环处理目标特征列（更简洁，避免提前创建X6/X7/X8） #

如果你还没创建X6/X7/X8这些中间数据框，直接循环目标特征列会更高效：

import numpy as np
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# 定义需要单独处理的特征列名称，对应你原来的X6/X7/X8
target_features = [
    "Educational Establishment Type",
    "Subject Group (Detailed Level)",
    "Subject Group (Summary Level)"
]

# 循环每个特征列，做独热编码并保存
for idx, feature in enumerate(target_features, start=6):  # 从6开始对应X6/X7/X8的命名
    # 只保留当前需要编码的特征列
    single_col_df = X[[feature]]
    # LabelEncoder转换为数值型
    le = LabelEncoder()
    encoded_col = single_col_df.apply(le.fit_transform)
    # OneHotEncoder转换为独热数组（新版参数直接输出数组）
    ohe = OneHotEncoder(sparse_output=False)
    onehot_arr = ohe.fit_transform(encoded_col)
    # 保存为npy文件
    np.save(f'X{idx}.npy', onehot_arr)
    print(f"已保存X{idx}.npy，数组形状：{onehot_arr.shape}")

方案2：修复你现有的循环代码（针对已创建的X6/X7/X8等） #

如果你已经有了all_x列表，需要通过索引来更新列表元素，同时修正赋值逻辑：

import numpy as np
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

all_x = [X, X1, X2, X3, X4, X5, X6, X7, X8]
processed_arrays = []  # 可选：用来存储所有处理后的数组

for idx, num_x in enumerate(all_x):
    # 对单列数据框做LabelEncoder转换
    le = LabelEncoder()
    encoded_df = num_x.apply(le.fit_transform)
    # 新版OneHotEncoder直接输出数组
    ohe = OneHotEncoder(sparse_output=False)
    onehot_arr = ohe.fit_transform(encoded_df)
    # 保存npy文件
    np.save(f'X{idx}.npy', onehot_arr)
    # 更新原列表中的元素（替换为编码后的数组）
    all_x[idx] = onehot_arr
    # 或者存入新列表
    processed_arrays.append(onehot_arr)
    print(f"处理完成X{idx}，数组形状：{onehot_arr.shape}")

关键修复点说明 #

• 用索引更新列表：通过all_x[idx] = onehot_arr来替换列表中原来的元素，而不是只修改局部变量num_x，这样才能真正更新原列表的内容。
• 新版OneHotEncoder参数：sparse_output=False让编码器直接输出numpy数组，省去了.toarray()的调用；如果你的sklearn版本较旧，可以保留.toarray()，但建议升级到稳定版本。
• 明确特征列范围：确保循环的每个元素都是你需要单独编码的单特征数据框，避免多列数据导致编码结果不符合预期。

内容的提问来源于stack exchange，提问作者mlnoob