使用PowerShell按art列值提取指定行数并导出CSV文件

需求回顾 #

处理包含sequence、art、姓名、地址等列的CSV文件，要求：

• 先按art列排序
• 为每个唯一art值提取指定行数（示例为2行）
• 保留所有列，每个art值单独导出为CSV文件
• 支持1000至400000条数据量

正确实现代码 #

# 配置参数
$inputCsvPath = "你的输入文件路径.csv"
$outputFolder = "输出文件夹路径"
$rowsPerArt = 2  # 可修改为需要提取的行数，比如10

# 创建输出文件夹（不存在则自动创建）
if (-not (Test-Path $outputFolder)) {
    New-Item -ItemType Directory -Path $outputFolder | Out-Null
}

# 核心处理逻辑
Import-Csv -Path $inputCsvPath |
    Sort-Object -Property art |
    Group-Object -Property art |
    ForEach-Object {
        # 处理文件名中的非法字符，避免创建文件失败
        $safeFileName = $_.Name -replace '[^\w\s.-]', '_'
        $outputPath = Join-Path -Path $outputFolder -ChildPath "$safeFileName.csv"
        # 提取分组内前N行，保留所有列并导出
        $_.Group | Select-Object -First $rowsPerArt | Export-Csv -Path $outputPath -NoTypeInformation -Encoding UTF8
    }

常见问题排查 #

仅导出art列的原因 #

如果之前的代码在Select-Object中指定了art列（比如Select-Object art -First $rowsPerArt），就只会导出该列。正确做法是直接用Select-Object -First $rowsPerArt，无需指定列名，这样会保留原始行的所有列数据。

代码报错的常见原因 #

1. 路径问题：输入文件路径不存在，或输出文件夹无写入权限，检查路径拼写和权限设置。
2. 非法文件名：art值包含/、\、:等非法字符，代码中通过-replace '[^\w\s.-]', '_'替换为下划线，避免文件创建失败。
3. 内存不足：处理40w行数据时，Sort-Object和Group-Object会占用一定内存，若出现内存压力，可考虑增加系统内存，或分批处理（一般40w行无需分批）。

注意事项 #

• 编码调整：若导出的CSV中文乱码，可将-Encoding UTF8替换为-Encoding Default或-Encoding GB2312。
• 文件名唯一性：确保处理后的safeFileName不会重复，若art值可能因大小写导致重复，可添加-CaseSensitive参数到Group-Object，或统一转为小写/大写。

内容的提问来源于stack exchange，提问作者cnjfo672