如何用JavaScript验证带Unicode标签的动态文本文件？

一、强制统一文件编码读取 #

• 读取文件时明确指定UTF-8编码，避免系统默认编码（如GBK）导致的字符乱码或编码转换差异：
  • Node.js环境：使用fs.readFileSync时指定encoding: 'utf8'；
  • 浏览器环境：使用FileReader.readAsText(file, 'UTF-8')强制按UTF-8解析。
• 保存基准文件时，必须选择UTF-8无BOM格式（VS Code、Notepad++等编辑器可在保存设置中调整），避免复制或保存过程中自动添加BOM头导致对比失败。

二、Unicode标准化处理 #

针对复制过程中可能出现的同形异码、组合字符拆分问题，对比前统一对文本做Unicode标准化：

• 使用String.prototype.normalize('NFC')将所有字符转换为标准等价组合形式，确保视觉相同的字符编码完全一致。
• 示例：对比前先处理每行文本：

  const normalizeLine = line => line.normalize('NFC').trimEnd();
  

三、修复并优化对比逻辑 #

你当前的代码存在语法错误（赋值号=误用为比较符）和逻辑漏洞，优化后的完整逻辑如下：

// Node.js示例，浏览器环境可替换为FileReader读取逻辑
const fs = require('fs');

// 统一读取UTF-8编码文件
function readUtf8File(filePath) {
  return fs.readFileSync(filePath, { encoding: 'utf8' });
}

// 标准化文本并去除行尾空白（避免换行符/空格差异）
function processLines(content) {
  return content
    .normalize('NFC')
    .split('\n')
    .map(line => line.trimEnd());
}

// 读取并处理文件
const generatedLines = processLines(readUtf8File('./generated.txt'));
const baselineLines = processLines(readUtf8File('./baseline.txt'));

// 逐行对比
let isMatch = true;
if (generatedLines.length !== baselineLines.length) {
  isMatch = false;
  console.log(`行数不一致：生成文件${generatedLines.length}行，基准文件${baselineLines.length}行`);
} else {
  for (let i = 0; i < generatedLines.length; i++) {
    if (generatedLines[i] !== baselineLines[i]) {
      isMatch = false;
      console.log(`第${i+1}行差异：
生成内容：${generatedLines[i]}
基准内容：${baselineLines[i]}`);
      break;
    }
  }
}

console.log(isMatch ? '文件内容与基准一致' : '文件内容与基准存在差异');

四、额外注意事项 #

• 不要通过手动复制生成内容到基准文件，直接从生成逻辑导出基准内容，避免复制过程中编辑器自动转义Unicode字符。
• 若需忽略某些格式差异（比如空格、制表符），可在processLines中加入正则替换，例如：line.replace(/\s+/g, ' ')统一空白字符。

内容的提问来源于stack exchange，提问作者gLi