Power Query Editor转换大JSON到CSV的1000行扫描限制问题求解

我之前处理大体积、字段不统一的JSON转CSV时，也踩过Excel这个1000行扫描限制的坑，给你几个实用的解决思路：

方法一：用Python脚本预处理（最灵活，适合复杂场景） #

Excel的问题在于它只扫前1000行猜字段，但我们可以先自己遍历整个JSON文件，把所有可能的字段都找出来，再生成包含完整列的CSV。这样导入Excel时所有列都在，不会报错。

下面是一个轻量的脚本，处理150MB的JSON完全没问题，还能避免内存过载：

import json
import csv

# 第一步：遍历所有行，收集所有出现过的键
all_fields = set()
with open('你的输入文件.json', 'r', encoding='utf-8') as json_file:
    for line in json_file:
        try:
            # 假设你的JSON是每行一个对象（JSON Lines格式），如果是数组的话需要调整
            row_data = json.loads(line.strip())
            all_fields.update(row_data.keys())
        except json.JSONDecodeError:
            # 跳过格式错误的行（可选）
            print(f"跳过格式错误的行：{line[:50]}...")
            continue

# 把字段排序，让CSV表头更规整
sorted_fields = sorted(all_fields)

# 第二步：重新遍历JSON，写入包含所有字段的CSV
with open('输出文件.csv', 'w', newline='', encoding='utf-8') as csv_file:
    writer = csv.DictWriter(csv_file, fieldnames=sorted_fields)
    writer.writeheader()  # 写入表头
    
    with open('你的输入文件.json', 'r', encoding='utf-8') as json_file:
        for line in json_file:
            try:
                row_data = json.loads(line.strip())
                # 缺失的字段会自动填充为空字符串
                writer.writerow(row_data)
            except json.JSONDecodeError:
                continue

如果你的JSON是整个大数组（不是每行一个对象），只需要把遍历部分改成一次性加载数组（150MB内存足够），然后遍历数组里的每个元素即可。

方法二：用Excel内置的Power Query（无需写代码） #

Power Query是Excel自带的强大数据处理工具，它会完整扫描整个JSON文件，识别所有字段，完美绕过1000行限制：

• 打开Excel，切换到「数据」选项卡，点击「获取数据」>「从文件」>「从JSON」
• 选中你的JSON文件，Power Query编辑器会自动打开
• 如果你的JSON是数组结构，编辑器会显示一个列表，点击「转换」选项卡的「扩展到新行」，把每个对象拆成单独的行
• 然后点击表格上方的「扩展列」按钮（就是那个带箭头的图标），选择「扩展所有列」，所有隐藏的字段都会被展开
• 最后点击「关闭并上载」，数据就会导入Excel，所有字段都完整显示

方法三：用命令行工具jq（适合喜欢终端操作的用户） #

如果你熟悉命令行，jq是处理JSON的神器，能快速生成包含所有字段的CSV：

1. 先提取所有唯一的字段：

jq -r 'keys' 你的输入文件.json | sort | uniq | jq -s '.' > all_fields.json

2. 再生成包含所有字段的CSV（缺失字段用空字符串填充）：

jq -r --argfile fields all_fields.json '[$fields[] as $f | .[$f] // ""] | @csv' 你的输入文件.json > 输出文件.csv

额外提示 #

如果你的JSON有嵌套结构（比如对象里还有子对象），上面的方法需要稍微调整：

• Python脚本可以加个递归函数，把嵌套字段展开成父字段.子字段的格式
• Power Query里可以直接点击嵌套字段的扩展箭头，选择展开所有子字段

内容的提问来源于stack exchange，提问作者user3567195