PowerShell的Import-Csv命令导入CSV文件是否存在大小限制？

• 全量加载机制缺陷：Import-Csv默认会将整个CSV文件的所有记录解析为PSCustomObject对象后一次性返回，全量存储在内存中。结构化对象的内存占用远高于原始文本，2.5GiB的原始CSV加载为对象后内存占用通常会达到原文件的3~10倍，你场景中的700万+条记录会直接占满普通主机的物理内存，触发系统页面交换，进而导致CPU、内存占用拉满，执行时间无限拉长。
• 版本优化有限：你使用的PowerShell 7.1.4已经对Import-Csv的解析逻辑做过一轮性能优化，但核心的全量加载机制没有变更，仍然无法适配千万级记录的大文件一次性加载场景。
• 字段解析额外损耗：如果CSV中存在长文本、带转义符的字段，默认的字段校验解析逻辑会消耗额外的CPU资源，进一步拖慢执行速度。

你不需要强制使用Get-Content | ForEach-Object的方案，可以根据实际处理需求选择更适配的方式：

• 若需要逐行处理、不需要全量保留数据：
  直接使用Import-Csv的流式管道写法即可，不需要将结果赋值给变量，内存占用始终维持在极低水平，同时不需要自行处理分隔符转义等CSV解析逻辑，比原生Get-Content逐行拆分字段的可靠性更高：

  Import-Csv -Path '.\thefile.txt' -Delimiter '|' | ForEach-Object {
      # 此处写入单条记录的处理逻辑
  }
  

• 若需要批量加载处理数据：
  可以使用-ReadCount参数指定单次加载的记录条数，平衡内存占用和执行效率：

  Import-Csv -Path '.\thefile.txt' -Delimiter '|' -ReadCount 1000 | ForEach-Object {
      # 此处每次处理1000条记录的批量逻辑
  }
  

• 若追求极致性能：
  可以直接调用.NET的StreamReader+TextFieldParser类手动实现解析，性能比原生PowerShell cmdlet高30%以上。

内容的提问来源于stack exchange，提问作者lit