PowerShell实现cut -d功能处理大文件过慢，求高效方案

针对10万行以上的大文件，按:分割后保留第一个元素之外的内容，原方案性能差的核心原因是频繁的文件IO操作和冗余的字符串拆分重组，以下是两种高效方案：

方案一：基于.NET流的纯PowerShell优化实现 #

直接使用.NET的StreamReader和StreamWriter处理文件，同时优化字符串操作逻辑，性能接近cut命令：

$inputFile = "myfile.txt"
$outputFile = "newfile.txt"

# 初始化流对象，保持文件句柄持续打开，设置4KB缓冲区优化写入
$streamReader = [System.IO.StreamReader]::new($inputFile)
$streamWriter = [System.IO.StreamWriter]::new($outputFile, $false, [System.Text.Encoding]::UTF8, 4096)

try {
    while (-not $streamReader.EndOfStream) {
        $line = $streamReader.ReadLine()
        if ($null -eq $line) { continue }
        
        # 直接定位第一个冒号位置，截取后续内容，避免拆分整个字符串
        $colonPos = $line.IndexOf(':')
        if ($colonPos -ge 0) {
            $streamWriter.WriteLine($line.Substring($colonPos + 1))
        } else {
            # 无冒号的行，可根据需求选择保留或跳过，此处保留原行
            $streamWriter.WriteLine($line)
        }
    }
}
finally {
    # 确保流资源释放
    $streamReader.Dispose()
    $streamWriter.Dispose()
}

优化点说明： #

• 避免频繁文件IO：StreamWriter保持文件打开状态，批量写入，替代原方案中Add-Content每次写入都打开/关闭文件的低效操作。
• 简化字符串处理：用IndexOf+Substring替代Split+Join，省去数组创建和拼接的额外开销，尤其适合长文本行。
• 缓冲区优化：设置4KB写入缓冲区（可根据系统调整），减少磁盘实际写入次数。

方案二：直接调用系统cut命令（最快） #

如果你的环境中有cut命令（比如安装了WSL、Git Bash或其他类Unix工具集），可以直接复用Linux下的高效命令：

& cut -d ':' -f2- myfile.txt > newfile.txt

该命令和Linux下性能一致，毫秒级即可完成处理。

内容的提问来源于stack exchange，提问作者Adriaantje