JSON转CSV表头缺失问题求助：如何获取全字段并补全NA值

你的问题出在仅用第一条JSON数据的键作为表头，后续数据的新增字段没被纳入，导致值和表头无法正确对应。下面是两种解决方案，分别适配普通大小和超大型JSON文件：

方案一：适用于普通大小JSON文件 #

先遍历所有数据收集完整表头，再按表头顺序写入每条数据，缺失字段填充NA：

import json
import csv

# 读取全部JSON数据到内存
with open(r'G:\user\jsondata.json', encoding='utf-8') as json_file:
    jsondata = json.load(json_file)

# 收集所有出现过的字段作为完整表头
all_headers = set()
for item in jsondata:
    all_headers.update(item.keys())
# 可选：对表头排序，让输出更规整
all_headers = sorted(all_headers)

# 写入CSV
with open(r'G:\user\jsonoutput.csv', 'w', newline='', encoding='utf-8') as data_file:
    writer = csv.writer(data_file)
    writer.writerow(all_headers)
    
    for item in jsondata:
        # 按表头顺序取值，缺失字段填NA
        row = [item.get(header, 'NA') for header in all_headers]
        writer.writerow(row)

关键说明 #

• 用set()自动去重所有字段，确保表头包含所有可能的键
• item.get(header, 'NA')是核心：如果当前数据没有该字段，就用NA填充，保证每行长度和表头一致
• 用原始字符串r'路径'或者双反斜杠\\避免路径转义问题
• 添加encoding='utf-8'防止特殊字符乱码

方案二：适用于超大型JSON文件（内存友好） #

如果JSON文件大到无法全部加载到内存，可以分两次遍历文件：第一次收集表头，第二次逐行写入数据：

import json
import csv

# 第一次遍历：仅收集所有表头
all_headers = set()
with open(r'G:\user\jsondata.json', encoding='utf-8') as json_file:
    for line in json_file:
        stripped_line = line.strip()
        # 跳过JSON数组的边界符号和分隔符
        if stripped_line in ('[', ']', ','):
            continue
        # 解析单条数据（去掉末尾可能的逗号）
        item = json.loads(stripped_line.rstrip(','))
        all_headers.update(item.keys())
all_headers = sorted(all_headers)

# 第二次遍历：写入CSV数据
with open(r'G:\user\jsondata.json', encoding='utf-8') as json_file, \
     open(r'G:\user\jsonoutput.csv', 'w', newline='', encoding='utf-8') as data_file:
    writer = csv.writer(data_file)
    writer.writerow(all_headers)
    
    for line in json_file:
        stripped_line = line.strip()
        if stripped_line in ('[', ']', ','):
            continue
        item = json.loads(stripped_line.rstrip(','))
        row = [item.get(header, 'NA') for header in all_headers]
        writer.writerow(row)

关键说明 #

• 不需要把整个JSON加载到内存，适合GB级别的大文件
• 逐行解析JSON数组中的单条数据，跳过数组结构符号，避免解析错误

内容的提问来源于stack exchange，提问作者Thomus H