如何基于DataFrame中字典列的键生成新行?
高效展开DataFrame中的字典键生成新行的Pythonic方案
嘿,我来给你分享两个更高效、更Pythonic的解决方案,替代你现在的循环写法~先明确下你的需求:
现有如下结构的DataFrame:
A B Dict a f {'k1': 'v1', 'k2': 'v2'} b h {} c g {'k3': 'v3'} 期望提取字典的键展开成新行,空字典对应的行直接丢弃,最终得到:
A B Keys a f k1 a f k2 c g k3
你当前用iterrows循环的方法虽然能跑,但当数据量变大时效率会很低,而且代码不够简洁。下面是两种更好的方案:
方案一:用explode快速展开(推荐,Pandas 0.25+支持)
这是最简洁高效的方法,利用Pandas原生的explode函数来处理列表展开:
import pandas as pd # 构造示例DataFrame df = pd.DataFrame({ 'A': ['a', 'b', 'c'], 'B': ['f', 'h', 'g'], 'Dict': [{'k1': 'v1', 'k2': 'v2'}, {}, {'k3': 'v3'}] }) # 1. 将字典列转为键的列表(空字典对应空列表) df['Keys'] = df['Dict'].apply(lambda x: list(x.keys())) # 2. 展开列表并过滤空值,最后删除原Dict列 result = df.explode('Keys').dropna(subset=['Keys']).drop(columns=['Dict']) print(result)
为什么这个方法更好?
explode是Pandas内部优化过的方法,比手动循环快几倍甚至几十倍(数据量越大差距越明显)- 代码逻辑清晰,一行转换+一行展开就搞定,非常Pythonic
方案二:用stack处理复杂场景
如果你的字典结构更复杂,或者需要同时处理键和值,这个方法更灵活:
import pandas as pd df = pd.DataFrame({ 'A': ['a', 'b', 'c'], 'B': ['f', 'h', 'g'], 'Dict': [{'k1': 'v1', 'k2': 'v2'}, {}, {'k3': 'v3'}] }) # 1. 将每个字典转为临时DataFrame,stack把列名(字典的键)转为行 temp_df = df['Dict'].apply(pd.Series).stack().reset_index(level=1, name='Value') # 2. 只保留键的列,重命名后和原表合并 temp_df = temp_df.drop(columns='Value').rename(columns={'level_1': 'Keys'}) result = df.join(temp_df).drop(columns=['Dict']).dropna(subset=['Keys']) print(result)
这个方法的核心是把字典的键转成临时表的列,再通过stack把列转为行,适合需要同时处理键值对的场景。
内容的提问来源于stack exchange,提问作者Silver Duck
相关产品推荐
相关产品推荐

