Pandas用to_csv存、read_csv读csv后索引异常,如何保证导入导出DataFrame一致
pandas读写CSV后DataFrame不一致的解决方法
问题根源
差异来源于两个默认参数的不匹配:
- 调用
to_csv()时默认会把DataFrame的行索引写入CSV第一列,但read_csv()默认不会将第一列识别为行索引,而是作为普通列自动命名为Unnamed: 0,行索引变为默认的从0开始的RangeIndex。 - 原始DataFrame的列是整数类型的RangeIndex,写入CSV后列名会被转为字符串存储,读取后默认保留字符串格式,和原始整数列名不一致。
解决步骤
方案1:仅调整读取逻辑(最简方案)
修改read_csv的参数指定索引列,再对齐列名类型即可:
import sys from sklearn.feature_extraction.text import TfidfVectorizer import pandas as pd documents = [] documents.append("i love python") documents.append("foo bar") vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(documents) X = X.T.toarray() df = pd.DataFrame(X, index=vectorizer.get_feature_names()) df.to_csv(path_or_buf = "db.csv") # 修改读取逻辑:指定第一列为索引 df1 = pd.read_csv("db.csv", index_col=0) # 对齐列名类型,如需严格匹配原始RangeIndex可替换为 df1.columns = pd.RangeIndex(len(df1.columns)) df1.columns = df1.columns.astype(int) print(df.axes) print() print(df1.axes)
运行后两个DataFrame的axes输出完全一致:
[Index(['bar', 'foo', 'love', 'python'], dtype='object'), RangeIndex(start=0, stop=2, step=1)] [Index(['bar', 'foo', 'love', 'python'], dtype='object'), RangeIndex(start=0, stop=2, step=1)]
方案2:读写同时适配(可读性更高)
写入时给索引列添加明确标识,读取时按名匹配索引,避免列序变动导致的错误:
# 写入时指定索引列的名称 df.to_csv("db.csv", index_label="feature_name") # 读取时按名称指定索引列 df1 = pd.read_csv("db.csv", index_col="feature_name") # 对齐列名类型 df1.columns = df1.columns.astype(int)
可选优化
如果不需要保留整数类型的列索引,可以在创建原始DataFrame时直接设置字符串格式的业务列名,省去后续类型转换的步骤:
# 创建df时给文档列设置明确名称 df = pd.DataFrame(X, index=vectorizer.get_feature_names(), columns=["doc_1", "doc_2"])
内容的提问来源于stack exchange,提问作者Vladislav
相关产品推荐
相关产品推荐

