如何在JavaScript/TypeScript中检测TXT文件字符串的编码类型？

核心思路：基于字节特征判断编码 #

编码检测本质是分析文件的二进制字节序列（而非字符串），不同编码的字节结构有明确规则，可通过这些规则逐一验证。

1. 手动实现基础编码检测 #

针对你提到的几种编码，可通过以下逻辑判断：

检测ASCII

ASCII字节范围为0x00-0x7F，无任何字节超出该范围即可判定：

function isASCII(bytes: Uint8Array): boolean {
  for (const byte of bytes) {
    if (byte > 0x7F) return false;
  }
  return true;
}

检测UTF-8

UTF-8有严格的多字节格式规则，需验证每个字节的合法性：

function isUTF8(bytes: Uint8Array): boolean {
  let i = 0;
  while (i < bytes.length) {
    const byte = bytes[i];
    if (byte <= 0x7F) {
      // 单字节字符
      i++;
    } else if (byte >= 0xC2 && byte <= 0xDF) {
      // 双字节字符，需后续一个合法续字节
      if (i + 1 >= bytes.length || (bytes[i+1] & 0xC0) !== 0x80) return false;
      i += 2;
    } else if (byte >= 0xE0 && byte <= 0xEF) {
      // 三字节字符，首字节0xE0时续字节需≥0xA0
      if (i + 2 >= bytes.length) return false;
      if ((byte === 0xE0 && bytes[i+1] < 0xA0) || (bytes[i+1] & 0xC0) !== 0x80 || (bytes[i+2] & 0xC0) !== 0x80) {
        return false;
      }
      i += 3;
    } else if (byte >= 0xF0 && byte <= 0xF4) {
      // 四字节字符，需三个合法续字节
      if (i + 3 >= bytes.length) return false;
      if ((bytes[i+1] & 0xC0) !== 0x80 || (bytes[i+2] & 0xC0) !== 0x80 || (bytes[i+3] & 0xC0) !== 0x80) {
        return false;
      }
      i += 4;
    } else {
      // 不符合UTF-8规则的无效字节
      return false;
    }
  }
  return true;
}

检测ISO-8859-1

ISO-8859-1是单字节编码，覆盖0x00-0xFF所有字节，无无效值。需先排除ASCII和UTF-8后再判定：

function isISO8859_1(bytes: Uint8Array): boolean {
  // 仅当不符合ASCII和UTF-8时，判定为ISO-8859-1
  return !isASCII(bytes) && !isUTF8(bytes);
}

关于ISO-8821的说明

ISO-8821并非字符编码标准，而是电子文档交换的结构规范（如EDIFACT协议相关）。若需判断文本是否符合ISO-8821格式，需基于其语法规则（特定分隔符、段结构等）检测，而非字节编码。若为笔误指向ISO-8859-1，可参考上述方法。

2. 使用成熟第三方库 #

手动实现可能遗漏边缘场景，推荐使用社区验证过的库：

• chardet：支持Node.js和浏览器环境，能检测多种编码并返回置信度
  Node.js示例：

  import chardet from 'chardet';
  import fs from 'fs';
  
  const buffer = fs.readFileSync('target.txt');
  const detectedEncoding = chardet.detect(buffer); // 返回如 'UTF-8'、'ISO-8859-1'、'ASCII' 等
  

  浏览器环境中，可通过FileReader读取文件为ArrayBuffer，转换为Uint8Array后传入检测。

• iconv-lite：常配合chardet使用，检测编码后可完成转码处理
  示例：

  import iconv from 'iconv-lite';
  import chardet from 'chardet';
  
  const buffer = fs.readFileSync('target.txt');
  const encoding = chardet.detect(buffer) || 'UTF-8';
  const decodedText = iconv.decode(buffer, encoding);
  

3. 关键注意事项 #

• 编码检测是概率性判断，短文本可能出现误判，优先处理长文本样本
• 若文件包含BOM（字节顺序标记），可直接通过BOM判断：UTF-8 BOM为0xEF 0xBB 0xBF，UTF-16LE为0xFF 0xFE等
• 优先验证UTF-8和ASCII，二者是Web环境的主流编码

内容的提问来源于stack exchange，提问作者Tad