使用pandas .astype指定数据类型后,.replace导致类型异常的原因咨询
问题描述
我有一个包含以下列的DataFrame:
Index(['tiername', 'month', 'network', 'specnewsmarket', 'year', 'adjeng', 'hev', 'subs', 'SN Market Grp', 'Region', 'State', 'CleanStnNm', 'Quarter', 'StnGrp', 'StnGrpOrder', 'CleanStnNm_AllStns', '2021 YTD HEV', '2020 YTD HEV', 'yymm']
我想给这些列指定特定数据类型,同时清理一些false相关的输入方便后续操作。于是从竖线分隔的CSV文件里读取类型映射,用下面的函数来处理:
import pandas as pd def force_columnDtypes(df) -> pd.DataFrame: """Ensures datatypes are correct before pivoting.""" dtypesMapping = pd.read_csv('references/Mappings/dtypes.txt',delimiter ='|',index_col=0)['0'] df['month'] = df['month'].astype(float) # 先转float再转int df = df.astype(dtypesMapping) df = df.replace(['FALSE',False,'False'],'False') return df
结果发现.replace()会搞乱数据类型,尤其是最后一列yymm:要是去掉.replace(),df.dtypes显示yymm是object类型,符合预期;但一调用.replace(),yymm就变回int64了。我可以硬编码指定类型,但想搞清楚为啥会这样。
原因说明
问题出在pandas的.replace()方法会自动推断替换后列的最优数据类型,不会老老实实保留原类型。
具体来说:
- 你通过
df.astype(dtypesMapping)把yymm设为object类型后,它存的是字符串形式的数值(比如"202301")。 - 当你对整个DataFrame调用
df.replace(['FALSE',False,'False'],'False')时,pandas会扫一遍所有列检查有没有要替换的值。对于yymm列,虽然没找到需要替换的false相关值,但pandas发现这列所有元素都是能转成整数的字符串,就自动把它的类型从object(字符串)改成int64了——这是pandas默认的优化操作,为了节省存储。
要是不想让它自动转类型,有两个办法:
- 只对存在
false值的列做替换,别对整个DataFrame操作。比如确认只有hev列有false值,就只处理这列:
df['hev'] = df['hev'].replace(['FALSE',False,'False'],'False')
- 或者在替换完之后,重新把
yymm设回object类型:
df = df.replace(['FALSE',False,'False'],'False') df['yymm'] = df['yymm'].astype(object)
内容的提问来源于stack exchange,提问作者Jack Driscoll
相关产品推荐
相关产品推荐

