Linux下编码检测异常？希腊语旧HTML转UTF-8遇难题

一、Linux命令行精准检测工具 #

• chardet/cchardet：基于统计模型的编码检测工具，比file/enca更适配多语言场景
  • 安装：Debian/Ubuntu系统用sudo apt install chardet，或通过pip安装更快的C实现：pip install cchardet
  • 单文件检测：chardetect your_file.html
  • 批量检测：

    for f in *.html; do echo "$f: $(chardetect "$f")"; done
    

• 希腊语特征验证：针对误判为iso-8859-1的文件，可通过十六进制特征确认是否为windows-1253（希腊语专用编码，字节范围0xE0-0xF9对应希腊语字符）：

  xxd your_file.html | grep -E '(e[0-9a-f]|f[0-9a])' | head -5
  

二、Python脚本实现自动检测与转换 #

结合编码检测结果+希腊语字符验证，同时修正HTML的meta标签编码声明：

import os
import chardet
from bs4 import BeautifulSoup

def batch_convert_html(src_dir, dest_dir):
    os.makedirs(dest_dir, exist_ok=True)
    for file_name in os.listdir(src_dir):
        if not file_name.endswith(".html"):
            continue
        src_path = os.path.join(src_dir, file_name)
        with open(src_path, "rb") as f:
            raw_bytes = f.read()
            # 初始编码检测
            detect_result = chardet.detect(raw_bytes)
            encoding = detect_result["encoding"]
            confidence = detect_result["confidence"]

            # 针对希腊语场景修正误判：若检测为iso-8859-1，验证是否为windows-1253
            if encoding == "ISO-8859-1":
                try:
                    win1253_content = raw_bytes.decode("windows-1253")
                    # 检查是否包含希腊语Unicode字符（U+0370到U+03FF范围）
                    if any("\u0370" <= c <= "\u03FF" for c in win1253_content):
                        encoding = "windows-1253"
                except UnicodeDecodeError:
                    pass

            # 解码并转换为UTF-8，同时更新meta标签
            try:
                content = raw_bytes.decode(encoding)
                soup = BeautifulSoup(content, "html.parser")
                # 更新charset声明
                if soup.meta:
                    if "charset" in soup.meta.attrs:
                        soup.meta["charset"] = "UTF-8"
                    elif soup.meta.get("http-equiv", "").lower() == "content-type":
                        soup.meta["content"] = "text/html; charset=UTF-8"
                # 保存转换后的文件
                dest_path = os.path.join(dest_dir, file_name)
                with open(dest_path, "w", encoding="utf-8") as dest_f:
                    dest_f.write(str(soup))
                print(f"处理完成：{file_name} | 实际编码：{encoding}")
            except Exception as e:
                print(f"处理失败：{file_name} | 错误：{str(e)}")

# 调用示例：将./old_html下的文件转换到./utf8_html
batch_convert_html("./old_html", "./utf8_html")

三、Firefox能正确识别的原因 #

Firefox的编码判断逻辑会同时参考字节内容的字符分布和语言特征：即使meta标签标注错误，它会根据文本中高频出现的希腊语字符，优先匹配对应专用编码（windows-1253），而非通用的iso-8859-1，因此能正确渲染。

内容的提问来源于stack exchange，提问作者bliako