PowerShell中ConvertFrom-JSON转CSV可选字段丢失问题求助

问题场景 #

现有包含可选字段的JSON数据：

[{
    "id": 34466,
    "name": "Item 3",
    "location_id": 34467,
    "types": [
        "B",
        "C"
    ],
    "location": "U Quad",
    "region_id": 1023,
    "last_contact": "2023-12-26"
},
{
        "id": 34258,
        "name": "Item 1",
        "location_id": 33975,
        "day": 0,
        "time": "20:30",
        "time_formatted": "8:30 pm",
        "types": [
            "D"
        ],
        "location": "S Quad",
        "group": "Group ID: 000105941",
        "phone": "8475551221",
        "last_contact": "2020-11-18"
    },
    {
        "id": 34259,
        "name": "Item 2",
        "location_id": 33970,
        "day": 0,
        "time": "20:30",
        "time_formatted": "8:30 pm",
        "types": [
            "D",
            "ONL"
        ],
        "location": "T Quad",
        "group": "Group ID: 000105941",
        "phone": "8475551222",
        "last_contact": "2020-11-18"
    }
]

使用以下PowerShell命令转换为CSV时：

$json = (Get-Content "test.json"| ConvertFrom-Json) | ConvertTo-Csv -NoTypeInformation | Out-File "test-output.csv"

出现问题：CSV仅保留第一条记录的字段，后两条记录的day、group、time等字段被遗漏，只有将字段最完整的记录放在JSON开头才能导出所有字段。需要无需手动排序或枚举字段的方法，强制CSV输出包含所有记录的全部字段。

解决方案 #

通过标准化所有记录的字段结构，补全缺失字段后再转换为CSV，具体命令如下：

# 读取并解析JSON文件
$jsonData = Get-Content "test.json" | ConvertFrom-Json

# 收集所有记录的唯一字段名
$allFields = $jsonData | ForEach-Object { $_.PSObject.Properties.Name } | Select-Object -Unique

# 为每条记录补全所有字段，缺失字段设为空值
$normalizedRecords = $jsonData | ForEach-Object {
    $currentRecord = $_
    $standardizedObj = [PSCustomObject]@{}
    foreach ($field in $allFields) {
        $standardizedObj | Add-Member -MemberType NoteProperty -Name $field -Value $currentRecord.$field
    }
    $standardizedObj
}

# 将标准化后的记录转换为CSV并输出
$normalizedRecords | ConvertTo-Csv -NoTypeInformation | Out-File "test-output.csv"

原理说明 #

• 利用PSObject.Properties.Name提取每条记录的字段名，通过去重得到所有记录的完整字段集合。
• 遍历每条记录，为其添加所有字段，缺失字段会自动填充为空值，确保所有记录的字段结构完全一致。
• 最后将结构统一的对象集合转换为CSV，就能包含所有记录的全部字段，无需手动调整JSON顺序或枚举字段。

内容的提问来源于stack exchange，提问作者Lando