Pandas读取CSV股票数据时Close列类型异常、数值转换报错如何处理
问题核心根因
所有类型转换报错、缩放失败、pd.to_numeric生成NULL值的本质原因,是Close列的字符串值携带了作为千位分隔符的半角逗号(例如报错示例里的'1,008.64'):
- 直接调用
astype('float')时,Pandas会把逗号识别为无法解析的非法字符,直接抛出类型转换错误 - 使用
pd.to_numeric(..., errors='coerce')时,所有带逗号的行因为无法直接解析,会被强制置为NULL - 给MinMaxScaler传入带逗号的字符串列时,底层转float的逻辑会直接触发
could not convert string to float的报错
可落地的解决步骤
- 方法1:读CSV时从源头处理,彻底避免后续类型问题
读取文件时直接告诉Pandas逗号是数值的千位分隔符,Pandas会自动把对应列识别为浮点类型,完全省去后续的清洗、转类型步骤:train_data = pd.read_csv( 'drive/MyDrive/Data LSTM TimeSeries/Google_Stock_Price.csv', thousands=',' ) - 方法2:读取CSV后手动清洗脏值,再做类型转换
如果读取时没有提前指定千位参数,先批量移除所有值里的逗号,再做数值转换:# 先把列值统一转成字符串,批量移除所有千位逗号 price['Close'] = price['Close'].astype(str).str.replace(',', '', regex=False) # 清洗完成后转成数值类型,用raise模式可以直接暴露真的无法解析的坏值,避免悄悄生成NULL price['Close'] = pd.to_numeric(price['Close'], errors='raise') - 类型转换完成、确认Close列全为合法数值后,再执行MinMaxScaler的缩放逻辑,即可正常运行:
from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler(feature_range=(-1, 1)) price['Close_scaled'] = scaler.fit_transform(price['Close'].values.reshape(-1, 1))
原代码里的两个逻辑误区:
- 执行顺序颠倒:原逻辑是先尝试用带脏值的Close列跑缩放触发报错后,才回头做类型转换,正确流程应该是先清洗、转对类型,再跑缩放
pd.to_numeric(price['Close'], errors='ignore')没有实际作用:这个参数的逻辑是碰到无法转换的值时直接返回原输入对象,不会做任何强制修改,等于这行代码完全没有实现类型转换的效果
内容的提问来源于stack exchange,提问作者i'mgnome
相关产品推荐
相关产品推荐

