ValueError: 无法将字符串'XX'转为浮点数问题求助

1. 缩进错误导致缺失值替换不完整
   原代码中，if mi_unk != ['']:及后续的替换逻辑位于for循环外部，这意味着循环遍历完所有feat_sum行后，仅对最后一行对应的特征执行了缺失值替换，CAMEO_INTL_2015列的'XX'完全没被处理。

2. 特征工程未覆盖未知值
   从CAMEO_INTL_2015复制生成WEALTH和LIFE_STAGE后，替换字典mf_wealth_dict和mf_lifestage_dict未包含'XX'的映射规则，导致这两列残留字符串'XX'。而sklearn.Imputer要求输入为数值型数据，因此触发类型转换错误。

步骤1：修正循环缩进 #

将缺失值替换逻辑缩进，放入for循环内部，确保每个特征的缺失值都被处理：

#replacing missing data with NaNs.
#feat_sum is a dataframe (feature_summary) of coded values

for i in range(len(feat_sum)):
    mi_unk = feat_sum.iloc[i]['missing_or_unknown'] #locate column and values
    mi_unk = mi_unk.strip('[').strip(']').split(',')# strip the brackets then split
    mi_unk = [int(val) if (val!='' and val!='X' and val!='XX') else val for val in mi_unk]
    # 将判断与替换代码缩进，纳入循环逻辑
    if mi_unk != ['']:
        featsum_attrib = feat_sum.iloc[i]['attribute']
        df = df.replace({featsum_attrib: mi_unk}, np.nan)

步骤2：处理特征工程中的未知值 #

两种可选方案：

方案A：在替换字典中添加'XX'映射 #

直接将'XX'映射为np.nan，确保新列无字符串残留：

mf_wealth_dict = {'11':1, '12':1, '13':1, '14':1, '15':1, '21':2, '22':2, '23':2, '24':2, '25':2, '31':3,'32':3, '33':3, '34':3, '35':3, '41':4, '42':4, '43':4, '44':4, '45':4, '51':5, '52':5, '53':5, '54':5, '55':5, 'XX': np.nan}

mf_lifestage_dict = {'11':1, '12':2, '13':3, '14':4, '15':5, '21':1, '22':2, '23':3, '24':4, '25':5, '31':1, '32':2, '33':3, '34':4, '35':5, '41':1, '42':2, '43':3, '44':4, '45':5, '51':1, '52':2,  '53':3, '54':4, '55':5, 'XX': np.nan}

df['WEALTH'].replace(mf_wealth_dict, inplace=True)
df['LIFE_STAGE'].replace(mf_lifestage_dict, inplace=True)

方案B：依赖预处理后的NaN #

若步骤1已将CAMEO_INTL_2015的'XX'转为NaN，复制后的新列自然带有NaN，只需替换有效数值即可：

# 确保CAMEO_INTL_2015的缺失值已转为NaN（步骤1完成后）
df['WEALTH'] = df['CAMEO_INTL_2015']
df['LIFE_STAGE'] = df['CAMEO_INTL_2015']

# 仅替换有效数值，NaN自动保留
df['WEALTH'].replace(mf_wealth_dict, inplace=True)
df['LIFE_STAGE'].replace(mf_lifestage_dict, inplace=True)

步骤3：验证并强制转换数据类型 #

执行Imputer前，确保所有列都是数值型：

# 检查数据类型
print(customers_cleaned_encoded.dtypes)
# 强制转换为数值型，残留字符串转为NaN
customers_cleaned_encoded = customers_cleaned_encoded.apply(pd.to_numeric, errors='coerce')

• 用iterrows()遍历DataFrame更直观，避免range(len(feat_sum))：

for idx, row in feat_sum.iterrows():
    mi_unk = row['missing_or_unknown'].strip('[').strip(']').split(',')
    mi_unk = [int(val) if (val not in ['', 'X', 'XX']) else val for val in mi_unk]
    if mi_unk != ['']:
        df = df.replace({row['attribute']: mi_unk}, np.nan)

• 新版本sklearn中Imputer已被SimpleImputer替代，建议使用：

from sklearn.impute import SimpleImputer
customers_imp = SimpleImputer(strategy="most_frequent")
customers_cleaned_imputed = pd.DataFrame(customers_imp.fit_transform(customers_cleaned_encoded))

内容的提问来源于stack exchange，提问作者sjohnp2112