使用PowerShell转换JSON数组为NDJSON时嵌套数组输出异常问题
核心问题根因
- 嵌套字段丢失的本质:PowerShell 5.1及更早版本的
ConvertTo-Json默认序列化深度仅为2层,超出深度的嵌套对象、数组会被强制截断,序列化结果直接输出空白,对应你遇到的Preferences、Channels类多级嵌套字段刚好超出默认深度阈值,因此丢失原有结构。 - 加
-Depth参数后输出全空的原因:一是原代码没有提前判断输出目录是否存在,路径不存在时新建文件会直接中断流程,没有任何内容写入;二是旧版本PowerShell的-Depth参数如果传入值类型错误(比如传成负数、非整数),会触发静默报错无输出,并非-Depth本身会清空结果。
可直接运行的修正代码
$sourcePath = "input/sample.json" $targetPath = "output/sample.ndjson" # 自动创建缺失的输出目录,避免路径不存在报错 $targetParentDir = Split-Path -Path $targetPath -Parent New-Item -ItemType Directory -Path $targetParentDir -Force | Out-Null # 读取源文件时用-Rraw一次性加载,避免逐行读导致的JSON解析错误 # 解析阶段就指定足够深度,避免ConvertFrom-Json截断嵌套结构 $sourceJsonArray = Get-Content -Path $sourcePath -Raw | ConvertFrom-Json -Depth 20 # 逐行转成压缩格式的独立JSON对象,序列化阶段指定同样的深度避免截断 $ndjsonContent = $sourceJsonArray | ForEach-Object { $_ | ConvertTo-Json -Compress -Depth 20 } # 一次性写入文件,指定UTF8无BOM编码适配下游解析 $ndjsonContent | Set-Content -Path $targetPath -Encoding utf8NoBOM
踩坑提醒
不要直接把整个源JSON数组一次性序列化后写入文件,那样输出的还是单根数组格式的普通JSON,不符合NDJSON“每行一个独立合法JSON对象、无外层数组包裹”的格式要求。
如果使用的是PowerShell 7.0之前的旧版本,utf8NoBOM参数不兼容,可以替换编码参数为Default,或者调用.NET原生方法写入,手动指定无BOM的UTF8编码。
深度值不用设置过高,20层以内的深度已经可以覆盖99%的业务嵌套场景,设置过高反而会降低序列化效率。
内容的提问来源于stack exchange,提问作者Alex K
相关产品推荐
相关产品推荐

