PowerShell 5.1导入含引号的Tab分隔CSV文件问题及解决

问题背景 #

处理30-40MB的Tab分隔CSV文件时，文件中存在未闭合引号。使用Import-Csv命令时，该命令默认将引号识别为文本限定符，导致第3行第2字段内容合并后续行数据，同时原始引号丢失。需要在PowerShell 5.1环境下找到保留引号且不损失性能的解决方案。

解决方案：Get-Content结合Split方法 #

绕过Import-Csv的文本限定符解析逻辑，直接读取文件内容并按Tab分割字段，既能完整保留原始引号，又能保证大文件的处理性能。

示例代码 #

# 一次性读取文件内容并按行拆分
$fileContent = Get-Content -Path "path/to/your/file.csv" -Raw -Encoding UTF8
$lines = $fileContent -split "`n"

# 遍历每行处理字段，跳过空行
$processedData = $lines | ForEach-Object {
    if ([string]::IsNullOrWhiteSpace($_)) { return }
    $fields = $_.Split("`t")
    
    # 封装为自定义对象，匹配CSV列结构（根据实际列数调整）
    [PSCustomObject]@{
        ColumnName1 = $fields[0]
        ColumnName2 = $fields[1]
        ColumnName3 = $fields[2]
        # 更多列...
    }
}

# 后续执行数据库导入操作（示例：假设使用SqlServer模块）
# $processedData | Write-SqlTableData -ServerInstance "your-server" -DatabaseName "your-db" -TableName "your-table"

核心优势 #

• 性能保障：Get-Content -Raw一次性读取文件，减少IO操作，适合处理30-40MB级别的文件
• 保留原始内容：直接按Tab分割字段，完全忽略引号的文本限定符作用，未闭合的引号会被完整保留
• 灵活可控：可按需添加空行过滤、字段格式调整等逻辑，适配不同的CSV结构

内容的提问来源于stack exchange，提问作者syl_jr