寻求高效且安全的日志文本文件管理优化方案

一、Windows消息机制方案的优化方向 #

针对你当前的消息传递日志方案，可以从以下几点优化来提升性能：

• 改用PostMessage替代SendMessage：SendMessage是同步调用，主程序会等待接收窗口处理完消息才继续执行，这是拖慢速度的核心原因之一。PostMessage是异步投递消息，主程序无需等待，能大幅降低对主程序的性能影响。
• 批量发送日志内容：不要每条日志都单独发消息，而是在主程序中攒够一定数量的日志（比如每20条，或累计字节数达到1KB），打包成一个字符串后再发送，减少消息投递的系统调用开销。
• 用WM_COPYDATA传递日志内容：你当前用WM_MY_MESSAGE的wParam/lParam传数据，适合小数据，传递长日志效率低。改用WM_COPYDATA可以直接传递字符串缓冲区，更适合日志这类文本内容的传递。
• 缓存接收窗口的HWND：程序启动时调用一次FindWindow获取接收窗口的句柄并缓存，不用每次发消息都重复查找，减少系统调用次数。

优化后的消息发送伪代码示例：

var
  LogReceiverHWND: HWND;
  LogBatch: TStringList;

procedure InitLogSender;
begin
  LogReceiverHWND := FindWindow(nil, 'My Second Window');
  LogBatch := TStringList.Create;
end;

procedure SendLogLine(const Line: string);
var
  CopyDataStruct: TCopyDataStruct;
  BatchStr: string;
begin
  if not IsWindow(LogReceiverHWND) then Exit;
  
  LogBatch.Add(Line);
  // 每10条日志批量发送一次
  if LogBatch.Count >= 10 then
  begin
    BatchStr := LogBatch.Text;
    CopyDataStruct.dwData := 0; // 标记为日志批量数据
    CopyDataStruct.cbData := Length(BatchStr) * SizeOf(Char) + 1;
    CopyDataStruct.lpData := PChar(BatchStr);
    PostMessage(LogReceiverHWND, WM_COPYDATA, 0, LPARAM(@CopyDataStruct));
    LogBatch.Clear;
  end;
end;

// 程序退出或崩溃前，发送剩余的日志
procedure FlushRemainingLogs;
var
  CopyDataStruct: TCopyDataStruct;
  BatchStr: string;
begin
  if LogBatch.Count > 0 and IsWindow(LogReceiverHWND) then
  begin
    BatchStr := LogBatch.Text;
    CopyDataStruct.dwData := 0;
    CopyDataStruct.cbData := Length(BatchStr) * SizeOf(Char) + 1;
    CopyDataStruct.lpData := PChar(BatchStr);
    SendMessage(LogReceiverHWND, WM_COPYDATA, 0, LPARAM(@CopyDataStruct));
    LogBatch.Clear;
  end;
end;

二、其他高效安全的日志管理方案 #

1. 内存缓冲+定时刷盘+崩溃强制刷盘 #

这是平衡性能与日志安全性的最优方案之一：

• 核心逻辑：用内存StringList缓冲日志，定时（比如1秒）将缓冲内容刷入文件；同时在程序的异常处理钩子中，强制触发刷盘操作，确保崩溃前的所有日志都写入文件。
• 优势：保留了内存缓冲的高速度（接近6000倍提升的水平），同时解决了崩溃丢日志的问题。
• 伪代码示例：

var
  LogBuffer: TStringList;
  LogFlushTimer: TTimer;
  LogCS: TRTLCriticalSection;

procedure InitLogSystem;
begin
  InitializeCriticalSection(LogCS);
  LogBuffer := TStringList.Create;
  LogFlushTimer := TTimer.Create(nil);
  LogFlushTimer.Interval := 1000; // 每秒刷盘一次
  LogFlushTimer.OnTimer := @FlushLogToFile;
  // 注册全局异常处理，崩溃前强制刷盘
  Application.OnException := @HandleAppException;
end;

procedure WriteLog(const Line: string);
begin
  // 线程安全处理：多进程/多线程写日志需加临界区
  EnterCriticalSection(LogCS);
  try
    LogBuffer.Add(FormatDateTime('yyyy-mm-dd hh:nn:ss', Now) + ' ' + Line);
  finally
    LeaveCriticalSection(LogCS);
  end;
end;

procedure FlushLogToFile(Sender: TObject);
var
  LogFile: TextFile;
begin
  EnterCriticalSection(LogCS);
  try
    if LogBuffer.Count = 0 then Exit;
    AssignFile(LogFile, LOGfileName);
    try
      if FileExists(LOGfileName) then
        Append(LogFile)
      else
        Rewrite(LogFile);
      LogBuffer.SaveToStream(LogFile);
      LogBuffer.Clear;
    finally
      CloseFile(LogFile);
    end;
  finally
    LeaveCriticalSection(LogCS);
  end;
end;

procedure HandleAppException(Sender: TObject; E: Exception);
begin
  FlushLogToFile(nil); // 崩溃前强制刷盘
  // 其他异常处理逻辑
end;

2. 独立日志线程 #

单独创建一个后台线程负责日志的写入操作：

• 主程序只需要将日志内容放入线程安全的队列中，无需等待I/O完成；后台线程从队列中取出日志，批量写入文件，同时可以定时刷盘。
• 优势：主程序完全脱离I/O操作，性能几乎不受影响；如果是同一进程内的线程，异常钩子可以通知线程刷盘；如果是独立进程的日志线程，还可以通过守护机制，在主程序崩溃时触发剩余日志的写入。

3. 保持文件句柄+利用系统缓存 #

打开日志文件后保持句柄不关闭，依靠Windows文件系统缓存提升写入效率，同时定期手动刷新缓存：

• 核心逻辑：程序启动时打开日志文件并定位到末尾，每次写入用WriteFileAPI，依靠系统缓存减少磁盘I/O；定期调用FlushFileBuffers确保数据写入磁盘，异常时也触发该操作。
• 伪代码示例：

var
  LogFileHandle: THandle;
  LogCS: TRTLCriticalSection;

procedure InitLog;
begin
  InitializeCriticalSection(LogCS);
  LogFileHandle := CreateFile(PChar(LOGfileName), GENERIC_WRITE, FILE_SHARE_READ, nil,
    OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, 0);
  if LogFileHandle <> INVALID_HANDLE_VALUE then
    SetFilePointer(LogFileHandle, 0, nil, FILE_END);
end;

procedure WriteLog(const Line: string);
var
  LogLine: string;
  BytesWritten: DWORD;
begin
  if LogFileHandle = INVALID_HANDLE_VALUE then Exit;
  
  LogLine := FormatDateTime('yyyy-mm-dd hh:nn:ss', Now) + ' ' + Line + #13#10;
  EnterCriticalSection(LogCS);
  try
    WriteFile(LogFileHandle, PChar(LogLine), Length(LogLine), BytesWritten, nil);
  finally
    LeaveCriticalSection(LogCS);
  end;
end;

procedure FlushLog;
begin
  if LogFileHandle <> INVALID_HANDLE_VALUE then
    FlushFileBuffers(LogFileHandle);
end;

procedure CloseLog;
begin
  FlushLog;
  if LogFileHandle <> INVALID_HANDLE_VALUE then
    CloseHandle(LogFileHandle);
  DeleteCriticalSection(LogCS);
end;

内容的提问来源于stack exchange，提问作者Giovanni Pederzani