Python中如何使用Pandas替换FeatureSpace模块完成CSV数据加载操作
Pandas 等价实现 FeatureSpace 模块CSV加载与类型配置方案
原FeatureSpace的load方法核心执行逻辑可通过Pandas内置API完全对齐,无额外依赖:
- 从
bouns_files目录加载abc.csv文件,指定逗号为字段分隔符、编码为utf-8 - 不主动对缺失值做填充,保留原始空值标记(对应
fillna=False参数) - 强制指定字段数据类型:
val_usd/quantity/cost_usd读为字符串,fiscl_date读为日期类型 - 全新生成独立数据集,不向已有数据集追加内容(对应
append=False参数)
完整实现代码
import pandas as pd # 返回结果与原FeatureSpace加载生成的ps_mf_gt_frm_hana数据集逻辑等价 ps_mf_gt_frm_hana = pd.read_csv( filepath_or_buffer="bouns_files/abc.csv", sep=",", encoding="utf-8", # 映射需强制读为字符串类型的字段 dtype={ "val_usd": str, "quantity": str, "cost_usd": str }, # 映射需解析为日期类型的字段 parse_dates=["fiscl_date"], # 保留原始空值为NaN,不做默认值填充,匹配fillna=False规则 keep_default_na=True )
常见场景适配
- 若
fiscl_date列存在非通用格式的日期值,可在读取后补充格式匹配逻辑,避免解析偏差:# 替换format参数为实际的日期格式规则,例如处理yyyyMMdd格式的数字日期 ps_mf_gt_frm_hana["fiscl_date"] = pd.to_datetime( ps_mf_gt_frm_hana["fiscl_date"], format="%Y%m%d" ) - 单文件加载场景下Pandas默认每次读取都会生成全新独立的DataFrame,不会自动向已有数据集追加内容,天然匹配
append=False的要求,无需额外配置。
内容的提问来源于stack exchange,提问作者user9703636
相关产品推荐
相关产品推荐

