如何将10GiB以上大文件从ANSI转UTF-8？转换报错求解

我用Delphi 11编写了一个数据库备份程序，通过Devart组件TMyDump v12.0.0生成备份文件后，采用以下代码将其从ANSI编码转换为UTF-8：

const
  cintBuffer = 10485760; //10 MiB
var
  intNb_byte: Integer;
  strFichier_export, strFichier_export_utf8: String;
  achrBuffer: TArray<Char>;
  srdFichier_ansi: TStreamReader;
  swtFichier_utf_8: TStreamWriter;
  ecoEcoding: TEncoding;
begin
  ...

  strFichier_export_utf8 := 'C:\dump.sql';
  strFichier_export := strFichier_export_utf8 + '.tmp';

  Dump.BackupToFile(strFichier_export); //<-- Devart component "TMyDump" v:12.0.0
  
  //获取导出文件的编码
  var fsmFichier := TFileStream.Create(strFichier_export, fmOpenRead);
  try
    var bteBuffer: TBytes;
    //读取文件前100个字节
    SetLength(bteBuffer, 100);
    fsmFichier.Read(bteBuffer, Length(bteBuffer));
    //判断文件编码，默认ANSI
    TEncoding.GetBufferEncoding(bteBuffer, ecoEcoding, TEncoding.ANSI);
  finally
    fsmFichier.Free;
  end;
  
  //ecoEcoding --> TMBCSEncoding

  {$REGION ' 强制将文件编码转为UTF-8 '}
  srdFichier_ansi := TStreamReader.Create(strFichier_export, ecoEcoding, False, cintBuffer);
  try
    swtFichier_utf_8 := TStreamWriter.Create(strFichier_export_utf8, False, TEncoding.UTF8, cintBuffer);
    try
      SetLength(achrBuffer, cintBuffer);
      repeat
        //读取备份文本
        intNb_byte := srdFichier_ansi.Read(achrBuffer, 0, Length(achrBuffer));

        if (intNb_byte > 0) then
          //转成UTF-8写入
          swtFichier_utf_8.Write(achrBuffer, 0, intNb_byte);
      until (intNb_byte <= 0);
    finally
      swtFichier_utf_8.Free;
    end;
  finally
    srdFichier_ansi.Free;
  end;

  //转换完成后删除临时文件
  System.SysUtils.DeleteFile(strFichier_export);
  {$ENDREGION}
  
  ...
end;

但尝试导入转换后的文件时，出现错误：

No mapping for the Unicode character exists in the target multi-byte code page.

请问当前的转换方式是否合理？该如何解决这个报错？

1. 当前转换方式的合理性问题 #

你的转换逻辑方向正确，但存在两个关键缺陷：

• 编码检测局限性：仅读取前100字节判断编码，若文件特殊字符集中在后续内容，TEncoding.GetBufferEncoding可能误判编码，导致解码时出现无效字符。
• 字符解码风险：使用TStreamReader将字节解码为Char时，若原文件存在对应编码无法识别的字节，会生成无效Unicode字符，后续导入工具解析时就会触发映射错误。

2. 具体解决办法 #

方案一：直接生成UTF-8备份（最优） #

Devart的TMyDump本身支持直接输出UTF-8编码的备份，无需事后转换，从根源避免问题：

// 直接设置TMyDump的编码为UTF-8
Dump.Encoding := TEncoding.UTF8;
// 直接生成UTF-8格式的备份文件
Dump.BackupToFile(strFichier_export_utf8);

此方法省去临时文件和转换逻辑，完全规避编码转换的潜在风险。

方案二：修复现有转换逻辑 #

若必须保留转换步骤，可做以下调整：

• 明确编码，避免自动检测：如果知道TMyDump生成备份时使用的具体ANSI编码（比如系统默认MBCS），直接指定该编码，跳过自动检测步骤，防止误判。
• 字节级转换+错误处理：改用字节直接转换的方式，并添加无效字符替换策略：

// 替换原转换区域的代码
var ansiBytes := TFile.ReadAllBytes(strFichier_export);
// 使用替换策略处理无法映射的字符
var fallback := TEncoderFallback.ReplacementFallback;
var utf8Bytes := TEncoding.Convert(ecoEcoding, TEncoding.UTF8, ansiBytes, 0, Length(ansiBytes), fallback);
TFile.WriteAllBytes(strFichier_export_utf8, utf8Bytes);

这种方式直接基于原始字节转换，避免了StreamReader解码的中间环节，同时将无法转换的字符替换为默认占位符（如?），防止触发编码映射错误。

方案三：检查导入工具的编码设置 #

报错提示说明导入工具可能未使用UTF-8编码读取文件，而是采用了某款ANSI编码。需确认导入工具的编码配置，确保其与备份文件的UTF-8编码一致，或调整转换后的文件编码为导入工具支持的格式。

内容的提问来源于stack exchange，提问作者phepher