如何使用可同时兼容TMemo与TIdLogFile的可移植字符串转义序列

问题场景 #

在C++Builder XE6环境中，自定义继承自TIdLogFile的扩展日志类TIdLogFileEx实现如下，处理纯文本字符串时运行正常，但处理包含转义序列的字符串时会出现输出异常，无法同时兼容TMemo组件与Indy日志组件。

#include <IdLogFile.hpp>

class TIdLogFileEx : public TIdLogFile
{
    typedef TIdLogFile inherited;

    public:
        inline __fastcall TIdLogFileEx (TComponent* AOwner) : inherited(AOwner) {}
        inline __fastcall TIdLogFileEx () : inherited() {}

        virtual void __fastcall LogInfo (const System::UnicodeString AText);
};

void __fastcall TIdLogFileEx::LogInfo (const System::UnicodeString AText)
{
    LogWriteString(_D("Info : ") + AText + EOL);
}

问题复现 #

使用如下测试代码可稳定复现异常：

void __fastcall TForm1::Button1Click (TObject *Sender)
{
    UnicodeString U = "\x95" + UnicodeString("Test") + "\x85";
    AnsiString A = U;

    TIdLogFileEx* File = new TIdLogFileEx;

    try
    {
        File->Filename = "Test.log";
        File->Active   = true;

        File->LogInfo(U);
        File->LogInfo(A);
        Memo1->Lines->Add(U);
        Memo1->Lines->Add(A);

        U = _D("\x95") + UnicodeString("Test") + _D("\x85");
        A = U;

        File->LogInfo(U);
        File->LogInfo(A);
        Memo1->Lines->Add(U);
        Memo1->Lines->Add(A);
    }
    __finally
    {
        delete File;
    }
}

实际运行输出如下：

• Memo1输出：

•Test…
•Test…
Test        (实际为 <U+0095>Test<U+0085>)
?Test?

• 日志文件写入内容：

Info : ?Test?
Info : ?Test?
Info : •Test…
Info : ?Test?

补充验证：当项目默认字符串类型为AnsiString时，_D("\x2022")与_D("\x2026")无法按预期生成对应字符。

问题根因 #

异常来自转义字符的解析、编码转换逻辑不一致：

• \x95、\x85属于单字节字面量，对应Unicode标准中的C1控制字符（U+0095、U+0085），本身为不可打印字符。界面中显示的•（项目符号）、…（省略号）是Windows ANSI代码页（如CP1252）对这两个字节值的私有映射，与Unicode标准码位不对应。不同组件的默认转码逻辑存在差异，遇到不可打印控制字符时会默认替换为?占位符，最终导致输出不一致。
• _D()宏的解析结果与项目默认字符串类型强绑定：默认字符串为AnsiString时，宏内转义序列会先按窄字符规则解析，再做二次编码转换，高位字符容易出现截断、映射错误，无法稳定生成目标Unicode字符。

可移植兼容方案 #

按照以下规则编写代码，即可同时兼容TMemo与TIdLogFile系列组件，且不受项目默认字符串类型配置影响：

• 构造指定Unicode字符时，禁止直接使用两位十六进制转义拼接字符串，通过WideChar()显式指定Unicode码位构造字符，完全绕开宏与默认字符串类型的影响：
  如需使用项目符号•（U+2022）、省略号…（U+2026），写法如下：

  // 显式指定Unicode码位，不受编码配置、默认字符串类型影响
  UnicodeString U = WideChar(0x2022) + UnicodeString("Test") + WideChar(0x2026);
  

• 如果需要处理原始单字节数据，不要直接将字节值拼入Unicode字符串，先明确原始字节对应的编码页，显式完成编码转换后再生成字符串，避免隐式转码导致的字符映射错误：
  例如原始字节为CP1252编码的0x95、0x85，转换代码如下：

  // 按CP1252编码解析原始字节，生成正确的Unicode字符串
  RawByteString rawData = AnsiString("\x95Test\x85");
  UnicodeString U = UnicodeString(rawData, 1252);
  

• TIdLogFile默认以UTF-8编码写入日志，只要传入的UnicodeString为不含非法控制字符的合法字符串，日志写入内容与TMemo显示内容就会完全一致，不会出现问号占位问题。

验证结果 #

使用上述方案改造测试代码后，无论项目默认字符串类型设置为AnsiString还是UnicodeString，TMemo与日志文件均会稳定输出•Test…，无转义错误、字符替换问题，具备跨配置可移植性。

内容的提问来源于stack exchange，提问作者Martin Nijhoff