如何更快合并同表头ASCII CSV文件？Delphi代码优化咨询

需求说明 #

合并多个表头完全一致的ASCII CSV文件，仅保留第一个文件的表头，其余文件跳过表头。现有传统文件I/O实现代码，需寻找除增大缓冲区外的更高效实现方式，适用场景为5-10个100-300KiB的文件，运行在32位/64位VCL应用中。

现有代码分析 #

原代码采用传统AssignFile系列过程逐行读写，逻辑正确但小文件场景下可进一步优化：

AssignFile(lOutFile,lOutputFileName);
ReWrite(lOutFile);
for j := 0 to lFileURLs.Count-1 do
begin
  AssignFile(lInFile,lFileURLs[j]);
  Reset(lInFile);
  lTop := true;
  while not eof(lInFile) do
  begin
    ReadLn(lInFile,lLine);
    if (j=0) or (not lTop) then WriteLn(lOutFile,lLine);
    lTop := false;
  end;
  CloseFile(lInFile);
end;
CloseFile(lOutFile);

更高效的实现方案 #

针对你的文件规模，推荐以下两种简洁高效的实现方式：

方案1：使用TStringList批量读写 #

TStringList内部优化了内存管理与I/O操作，小文件场景下一次性读写整个文件比逐行操作更高效：

var
  SL: TStringList;
  OutSL: TStringList;
  I: Integer;
begin
  OutSL := TStringList.Create;
  try
    for I := 0 to lFileURLs.Count - 1 do
    begin
      SL := TStringList.Create;
      try
        SL.LoadFromFile(lFileURLs[I]);
        if I = 0 then
          // 第一个文件完整写入（含表头）
          OutSL.AddStrings(SL)
        else
          // 后续文件跳过第一行，从第二行开始写入
          if SL.Count > 0 then
            OutSL.AddStrings(SL, 1);
      finally
        SL.Free;
      end;
    end;
    OutSL.SaveToFile(lOutputFileName);
  finally
    OutSL.Free;
  end;
end;

优势：代码简洁易维护，LoadFromFile/SaveToFile内置缓冲I/O，比手动逐行读写效率更高，无需处理底层EOF判断。

方案2：使用TStream类（适配未来更大文件场景） #

若后续文件规模可能扩大，TStream可灵活控制读写逻辑，避免一次性加载整个文件到内存：

var
  InStream: TFileStream;
  OutStream: TFileStream;
  Buffer: TBytes;
  LineBreak: TBytes;
  FirstLineSkipped: Boolean;
  I: Integer;
  ReadCount: Integer;
  Pos: Integer;
begin
  LineBreak := TEncoding.ASCII.GetBytes(#13#10); // ASCII换行符
  OutStream := TFileStream.Create(lOutputFileName, fmCreate or fmShareDenyWrite);
  try
    for I := 0 to lFileURLs.Count - 1 do
    begin
      InStream := TFileStream.Create(lFileURLs[I], fmOpenRead or fmShareDenyWrite);
      try
        FirstLineSkipped := False;
        SetLength(Buffer, 4096); // 4KB缓冲区，可按需调整
        while InStream.Position < InStream.Size do
        begin
          ReadCount := InStream.Read(Buffer[0], Length(Buffer));
          if I > 0 and not FirstLineSkipped then
          begin
            // 定位第一个换行符，跳过表头内容
            Pos := IndexOf(Buffer, LineBreak, 0, ReadCount);
            if Pos >= 0 then
            begin
              OutStream.Write(Buffer[Pos + Length(LineBreak)], ReadCount - Pos - Length(LineBreak));
              FirstLineSkipped := True;
            end;
          end
          else
          begin
            OutStream.Write(Buffer[0], ReadCount);
          end;
        end;
      finally
        InStream.Free;
      end;
    end;
  finally
    OutStream.Free;
  end;
end;

// 辅助函数：在字节数组中查找指定字节序列的位置
function IndexOf(const Buffer: TBytes; const Search: TBytes; StartPos, Length: Integer): Integer;
var
  I, J: Integer;
  Match: Boolean;
begin
  Result := -1;
  if Length(Search) = 0 then Exit;
  for I := StartPos to StartPos + Length - Length(Search) do
  begin
    Match := True;
    for J := 0 to Length(Search) - 1 do
    begin
      if Buffer[I + J] <> Search[J] then
      begin
        Match := False;
        Break;
      end;
    end;
    if Match then
    begin
      Result := I;
      Exit;
    end;
  end;
end;

优势：内存占用更低，适合文件规模扩大后的场景，缓冲读写效率优于逐行操作。

方案选择建议 #

• 当前场景（5-10个100-300KiB文件）优先选方案1，代码简洁且效率足够，内存占用完全在32/64位VCL应用的承受范围内。
• 若未来文件规模可能超过几MB，再考虑方案2。

内容的提问来源于stack exchange，提问作者Jan Doggen