pandas筛选指定股票数据导出CSV时如何自动保留列名
筛选导出自动携带目标列名的实现方案
原代码存在的核心问题
- 逐ticker循环筛选的执行效率偏低,且固定设置
header=False参数,导致导出的CSV完全没有表头 - 未显式指定需要保留的目标列,实际导出了匹配ticker的全部字段,和最初的列筛选需求不匹配
- 未设置
index=False参数,导出结果会额外多出一列无意义的行索引,增加后续数据清洗成本 - 用Python内置类型名
list作为自定义变量名,容易引发隐式bug;循环内的continue属于无实际作用的冗余代码
无需手动维护列名的实现逻辑
只需要提前把要筛选的ticker列表、要保留的列列表定义成单独变量,后续不管是新增ticker还是增减列,只需要修改这两个变量即可,完全不需要手动敲写CSV的表头:
# 集中维护筛选规则,后续调整仅需修改这里 target_tickers = ['GOOG', 'AAPL', 'AMZN', 'NFLX'] target_columns = ['ticker', 'datekey', 'assets', 'eps', 'pe', 'price', 'revenue'] # 一次性完成ticker匹配、目标列截取,向量化操作比循环遍历效率高几个数量级 filtered_df = df.loc[ df['ticker'].isin(target_tickers), target_columns ] # 直接导出,pandas默认会自动把当前df的列名写入CSV作为表头 filtered_df.to_csv("20CompanyAnalysisData1.csv", index=False)
大文件分块导出场景的兼容方案
如果源CSV体量过大,直接全量读入内存会触发内存不足,需要分块读取、循环追加导出时,只需要加一个简单的标记位判断首次写入动作,依然不需要手动维护列名:
# 标记位:第一次写文件时需要写入表头,后续追加时关闭表头 first_write = True # 按每块10万行的粒度逐次读取源大文件 for chunk in pd.read_csv("全量股票历史数据.csv", chunksize=100000): # 块内完成筛选 filtered_chunk = chunk.loc[ chunk['ticker'].isin(target_tickers), target_columns ] filtered_chunk.to_csv( "20CompanyAnalysisData1.csv", mode='a', header=first_write, index=False ) # 第一次写完后把标记位置为False,后续追加就不会重复写表头 first_write = False
内容的提问来源于stack exchange,提问作者George Adams
相关产品推荐
相关产品推荐

