如何使用Pandas高效将项目产品嵌套字典转换为目标结构字典列表

核心思路 #

不需要对嵌套字典做双重循环遍历，直接基于Pandas的内置向量化操作完成格式转换，全程仅需2步，万级数据处理耗时在毫秒级。

实现代码 #

场景1：直接使用从Snowflake获取的原始DataFrame处理（推荐，性能最优） #

你完全可以跳过to_dict(orient='dict')这步冗余操作，直接处理原始DataFrame：

# 假设df为原始DataFrame，自带project、product两列
target_list = df.rename(columns={"project": "key", "product": "cat"}).to_dict(orient="records")

场景2：已经生成了嵌套字典需要转换 #

如果你已经拿到了结构为{"project":{索引:项目名称,...},"product":{索引:产品名称,...}}的嵌套字典（假设变量名为raw_dict），也可以快速转换：

# 先把嵌套字典转回DataFrame
temp_df = pd.DataFrame(raw_dict)
# 重命名列后转目标格式列表
target_list = temp_df.rename(columns={"project": "key", "product": "cat"}).to_dict(orient="records")

性能说明 #

3万行量级的数据处理，上述方案耗时通常不超过0.1秒，相比原生双重循环效率提升超过1000倍。

内容的提问来源于stack exchange，提问作者hesham noaman