Python处理JSON API数据转CSV时如何为每行追加分页元数据字段
具体调整逻辑
核心改动完全基于现有代码修改,不需要额外引入依赖:
- 先完整获取全量JSON响应,而非直接只取
data字段,单独缓存需要追加的3个顶层字段的值 - 写入CSV表头时,在原有业务记录字段后,追加3个分页字段的列名
- 每行写入业务记录时,把缓存的3个顶层字段的值拼到当前记录的末尾即可
修正后的完整代码如下(标注了所有改动点):
# ... 原有csv_writer初始化、response请求逻辑保持不变 ... # 【改动1】先获取完整JSON对象,不要直接截断为data full_json = response.json() # 【改动2】提取需要追加到每行的顶层字段,空值统一处理为空字符串备用 extra_fields = [ full_json.get('hasMore'), full_json.get('nextPageId') or '', full_json.get('nextPageUpdatedDate') or '' ] json_data = full_json['data'] count = 0 # 【改动3】补充count初始化,避免未定义报错 for each_rec in json_data: if count == 0: # 【改动4】表头追加3个新列的名称 header = list(each_rec.keys()) + ['hasMore', 'nextPageId', 'nextPageUpdatedDate'] csv_writer.writerow(header) count += 1 # 【改动5】统一处理所有行的写入逻辑,避免首条业务记录丢失 row_values = list(each_rec.values()) + extra_fields csv_writer.writerow(row_values) response.close() # 【改动6】补充括号,真正执行响应关闭操作
额外修复的原有隐藏问题:
- 原逻辑会跳过
data数组的第一条业务记录(仅写表头不写对应数据),调整后统一处理所有行的写入逻辑,不会丢数据- 空值自动适配CSV格式要求,JSON里的
null会自动转为CSV的空字段- 原有业务字段的顺序完全保留,追加的3个分页字段统一放在每行末尾,不影响原有列结构
内容的提问来源于stack exchange,提问作者kal
相关产品推荐
相关产品推荐

