API响应JSON存储格式差异及适配pandas DataFrame导入方案咨询

问题解答 #

1. 两种JSON存储格式的优势差异 #

两张截图对应两种常见的JSON存储形式：截图1是带缩进换行的格式化（Pretty Print）JSON，截图2是无冗余空白的压缩型JSON，二者优势分别如下：

• 格式化JSON的优势：
  • 可读性极强，无需借助额外工具即可直接人眼识别数据的层级结构，适合手动核验数据内容、调试代码时快速定位异常字段
  • 内容改动后做文本对比（diff）时，差异展示更清晰，便于回溯数据变更点
• 压缩型JSON的优势：
  • 存储体积更小，相同数据量下比格式化JSON小30%~60%，节省磁盘空间
  • 读写、解析速度更快，序列化和反序列化过程无需处理多余的缩进、换行字符，性能开销更低
  • 跨系统传输时带宽占用更小，适合作为下游接口的输入载体

2. 转存pandas DataFrame的最优选择 #

两种格式对转存pandas DataFrame的难度没有任何差异。
pandas读取JSON依赖的是标准JSON解析器，解析过程会自动忽略所有非内容类的空白字符（缩进、换行、多余空格），不管是格式化还是压缩的JSON，解析后得到的Python字典/列表对象完全一致，最终生成的DataFrame也没有任何区别。

如果需要恢复到修改前的格式化JSON存储效果，只需要修改当前代码的两处即可：

1. 给文件名添加.json后缀，避免系统无法识别文件类型
2. 给json.dump方法添加indent参数控制缩进，示例修改如下：

def response_writer():
    api_response = api_call()
    timestr = datetime.datetime.now().strftime("%Y-%m-%d-%H:%M")
    # 新增.json后缀
    filename = 'api_response_'+timestr + '.json'
    with open(filename, 'w', encoding='utf-8') as output_data:
        # 新增indent参数控制缩进，ensure_ascii=False避免中文乱码
        json.dump(api_response, output_data, indent=4, ensure_ascii=False)
        print("--------------------------------------------\n", "API RESPONSE SAVED:", filename, "\n--------------------------------------------")
response_writer()

另外注意你当前的api_call函数存在逻辑问题：循环遍历url_list时每次都请求url_list[0]，且最终只返回最后一次请求的响应，如果你需要请求全部url并合并结果，需要调整这部分逻辑。

内容的提问来源于stack exchange，提问作者William