如何从含多个pandas DataFrame的字典中提取数据并合并为单个DataFrame?
嵌套DataFrame字典的合并方案
你当前场景下的字典结构是键为股票代码、值为单只股票完整行情DataFrame,这类嵌套结构根本不适合直接用pd.DataFrame.from_dict或者直接传参构造DataFrame,正确路径是逐一提取字典内的DataFrame做纵向拼接,这也是pandas原生支持的最高效处理方式。
可直接运行的修正代码
首先先修正你原代码里的隐藏语法错误:原循环内get_history(symbol=stock_name['close'])的写法存在问题,stock_name是遍历得到的股票代码字符串,并非可索引的字典结构,运行时会直接触发类型错误,需要改为直接传递股票名称作为symbol参数。
import pandas as pd from nsepy import get_history from datetime import date stock = ['3MINDIA','ABB','POWERINDIA','ACC','AIAENG'] # 替换为你实际的全量股票列表 start = date(2019, 12, 1) end = date(2020, 12, 10) # 初始化空字典存储单只股票的行情DataFrame res = {} for stock_name in stock: # 修正symbol参数的取值逻辑 data = get_history(symbol=stock_name, start=start, end=end) res[stock_name] = data # 直接纵向合并所有字典内的DataFrame,同时自动生成股票代码标记列 merged_all = pd.concat( objs=res.values(), keys=res.keys(), names=['Stock_Code', 'Date'] ).reset_index()
之前尝试方法失效的原因
pd.DataFrame.from_dict(res, orient='index')逻辑:pandas会将字典的键作为行索引、值作为行内元素,但你的字典值是完整的DataFrame对象而非标量值,最终生成的表格单元格里会嵌套存储整个DataFrame的内存引用,看起来就是格式混乱的无效数据- 直接
pd.DataFrame(res)逻辑:pandas会将每个嵌套的DataFrame当成单个值对齐,计算出的行列形状和你指定的单行索引不匹配,因此触发Shape of passed values is (14, 501), indices imply (1, 501)报错 - 嵌套列表构造的
pd.DataFrame([res], index=[0])逻辑:本质上还是在单元格里嵌套存整个DataFrame对象,没有展开成逐行的结构化数据,因此输出依然是乱码格式
大标的量下的内存优化方案
如果你的股票列表规模超过上百只,不需要额外存完整的字典结构,可以直接在循环中把单只股票的DataFrame追加到列表,最后统一拼接,减少一层字典结构的内存开销:
df_container = [] for stock_name in stock: data = get_history(symbol=stock_name, start=start, end=end) data['Stock_Code'] = stock_name # 直接在单帧内添加股票标记列 df_container.append(data) # 统一拼接,自动忽略原来的单帧索引避免重复 merged_all = pd.concat(df_container, ignore_index=True)
内容的提问来源于stack exchange,提问作者Huzefa Sadikot
相关产品推荐
相关产品推荐

