解析文件前如何去除文件中的BOM？

好问题！在D语言里处理Unicode文件的BOM确实是个常见需求——毕竟std.file.readText()会验证BOM和目标字符串类型（string/wstring/dstring）匹配，但会把BOM留在返回的内容里，而大多数解析场景都不需要它。

下面是几种简单可靠的实现方式：

1. 针对单一字符串类型的专用函数 #

如果你只需要处理某一种编码的文件（比如UTF-8的string），可以直接写一个针对性的函数：

处理UTF-8字符串（string） #

import std.file;
import std.string;

string readTextWithoutBOM(string filePath) {
    string content = readText(filePath);
    // UTF-8的BOM是字节序列 EF BB BF
    immutable utf8BOM = cast(ubyte[])("\xEF\xBB\xBF");
    if (content.length >= utf8BOM.length && (cast(ubyte[])content)[0..utf8BOM.length] == utf8BOM) {
        // 切片去掉开头的BOM
        return content[utf8BOM.length..$];
    }
    return content;
}

处理UTF-16字符串（wstring） #

D的wstring采用UTF-16LE编码，对应的BOM是0xFFFE：

import std.file;

wstring readTextWithoutBOM(string filePath) {
    wstring content = readText!wstring(filePath);
    immutable utf16LEBOM = cast(wstring)("\xFF\xFE");
    if (content.length >= utf16LEBOM.length && content[0..utf16LEBOM.length] == utf16LEBOM) {
        return content[utf16LEBOM.length..$];
    }
    return content;
}

处理UTF-32字符串（dstring） #

D的dstring是UTF-32LE编码，对应的BOM是0x0000FEFF：

import std.file;

dstring readTextWithoutBOM(string filePath) {
    dstring content = readText!dstring(filePath);
    immutable utf32LEBOM = cast(dstring)("\x0000FEFF");
    if (content.length >= utf32LEBOM.length && content[0..utf32LEBOM.length] == utf32LEBOM) {
        return content[utf32LEBOM.length..$];
    }
    return content;
}

2. 通用模板函数（支持所有字符串类型） #

如果你需要同时处理多种字符串类型，可以写一个模板函数，利用D的编译时特性自动匹配对应BOM：

import std.file;
import std.traits;

// 仅对字符串类型生效的模板函数
T readTextWithoutBOM(T)(string filePath) if (isSomeString!T) {
    T content = readText!T(filePath);
    
    // 编译时判断字符串类型，匹配对应BOM
    static if (is(T == string)) {
        immutable bom = cast(T)("\xEF\xBB\xBF");
    } else static if (is(T == wstring)) {
        immutable bom = cast(T)("\xFF\xFE");
    } else static if (is(T == dstring)) {
        immutable bom = cast(T)("\x0000FEFF");
    }
    
    // 检查并移除BOM
    if (content.length >= bom.length && content[0..bom.length] == bom) {
        return content[bom.length..$];
    }
    return content;
}

使用时直接指定目标类型即可：

// 读取UTF-8文件并移除BOM
string utf8Content = readTextWithoutBOM!string("utf8_file.txt");
// 读取UTF-16文件并移除BOM
wstring utf16Content = readTextWithoutBOM!wstring("utf16_file.txt");

为什么这种方法可靠？ #

因为std.file.readText()已经帮我们做了关键的验证：如果文件的BOM和目标字符串类型不匹配，它会直接抛出错误。所以我们只需要检查当前字符串类型对应的BOM即可，完全不用担心不兼容的BOM情况。

内容的提问来源于stack exchange，提问作者he_the_great