Pandas Wrangle函数处理JSON压缩文件时触发ValueError报错

问题分析 #

你遇到的错误是因为pd.DataFrame()接收的数据结构不统一——混合了字典和非序列类型（比如单个值、结构不匹配的列表等），导致pandas无法确定行列的排列规则。另外你的代码存在缩进错误：DataFrame创建和索引设置的代码在函数外部，无法访问函数内的局部变量taiwan_data，这本身就会引发NameError。

修正步骤与代码 #

1. 修正基础语法错误（缩进） #

首先把DataFrame相关代码移到函数内部，确保能访问taiwan_data。

2. 处理数据结构不统一问题 #

先检查加载后的JSON数据结构，再针对性处理：

• 如果是列表：过滤掉非字典元素，保证每个元素结构一致
• 如果是字典：改用pd.DataFrame.from_dict()并指定orient参数，明确数据排列方式

修正后的完整代码 #

import gzip
import json
import pandas as pd

def wrangle(jsonfilepath):
    with gzip.open(jsonfilepath,"r") as jsfile:
        taiwan_data = json.load(jsfile)
    
    # 先排查数据结构，方便调试
    print(f"数据类型: {type(taiwan_data)}")
    if isinstance(taiwan_data, list):
        print(f"列表首元素结构: {taiwan_data[0] if taiwan_data else '空列表'}")
    elif isinstance(taiwan_data, dict):
        print(f"字典前5个键: {list(taiwan_data.keys())[:5]}")
    
    # 根据数据结构构建DataFrame
    if isinstance(taiwan_data, dict):
        # 根据实际数据结构选择orient，'index'或'columns'
        df = pd.DataFrame.from_dict(taiwan_data, orient='index').reset_index()
    else:
        # 过滤列表中非字典的元素，避免混合结构
        filtered_data = [item for item in taiwan_data if isinstance(item, dict)]
        df = pd.DataFrame(filtered_data)
    
    # 仅当存在company_id列时设置索引
    if 'company_id' in df.columns:
        df.set_index('company_id', inplace=True)
    else:
        print("警告：未找到company_id列，跳过索引设置")
    
    return df

df = wrangle("data/taiwan-bankruptcy-data.json.gz")
print("df shape:", df.shape)
df.head()

关键说明 #

• 先打印数据结构是为了快速定位问题，调试完成后可以删除这些打印语句。
• 如果JSON数据是嵌套结构，可能需要进一步解析（比如用pd.json_normalize()展开嵌套字典），这取决于你的实际数据格式。

内容的提问来源于stack exchange，提问作者Ndu Nj