如何用Python将DataFrame中的JSON格式列转换为结构化DataFrame
解决方案
情况1:Loan_Info列是字符串格式的JSON
如果你的Loan_Info存的是JSON字符串(比如'{"amount":1000, "term":12}'这种),用下面的方法处理最快,万级数据毫无压力:
import pandas as pd import json # 假设你的原始DataFrame叫df # 先批量把JSON字符串转成字典——列表推导式比apply快很多 df['Loan_Info'] = [json.loads(item) for item in df['Loan_Info']] # 再用json_normalize展开JSON结构,和原Id列合并 expanded_df = pd.concat([df['Id'], pd.json_normalize(df['Loan_Info'])], axis=1)
情况2:Loan_Info列已经是字典类型
如果Loan_Info本身就是字典格式(不是字符串),直接跳过解析步骤,一步到位:
import pandas as pd expanded_df = pd.concat([df['Id'], pd.json_normalize(df['Loan_Info'])], axis=1)
为什么适合大数据量?
- 列表推导式替代
apply(json.loads):避免了pandas逐行调用函数的开销,处理万级数据速度能快2-3倍。 pd.json_normalize是pandas官方优化的矢量化工具,内部用C实现的逻辑,比手动循环拼接DataFrame效率高得多,完全能扛住十万甚至百万级数据。
示例验证
原始输入:
| Id | Loan_Info |
|---|---|
| 1 | {"amount": 5000, "term": 24, "rate": 4.5} |
| 2 | {"amount": 3000, "term": 12, "rate": 5.0} |
处理后输出:
| Id | amount | term | rate |
|---|---|---|---|
| 1 | 5000 | 24 | 4.5 |
| 2 | 3000 | 12 | 5.0 |
内容的提问来源于stack exchange,提问作者Data-7scientist
相关产品推荐
相关产品推荐

