如何在类Unix命令行中可靠检测单字节字符集编码

可以实现高可靠识别，这两个单字节编码的高位字节映射的字符语义差异极大，不存在无法区分的模糊场景。

推荐工具：uchardet #

uchardet是Mozilla开源编码检测库的命令行封装，对这两种编码的识别准确率极高，主流发行版均可直接从官方源安装：

• Debian/Ubuntu系列：apt install uchardet
• RHEL/CentOS/Fedora系列：dnf install uchardet
• macOS（Homebrew）：brew install uchardet

单文件检测用法 #

直接执行命令即可输出对应编码：

uchardet 目标文件名

仅含英文的文件会输出WINDOWS-1252，含阿拉伯语的文件会输出WINDOWS-1256。

批量检测目录下所有文件用法 #

结合find命令批量输出文件名与对应编码：

find /你的目标目录路径 -type f -exec sh -c 'echo "{}: $(uchardet "{}")"' \;

更高准确率校验方案 #

如果要进一步避免极端场景下的误判（比如文件内容极少的情况），可以加一步阿拉伯语字符占比校验逻辑：

# 先获取初步检测结果
ENC=$(uchardet 目标文件名)
if [ "$ENC" = "WINDOWS-1256" ]; then
  # 转码为UTF-8后统计阿拉伯语字符数与总字符数
  ARABIC_COUNT=$(iconv -f WINDOWS-1256 -t UTF-8 目标文件名 | grep -o $'[\u0600-\u06FF]' | wc -l)
  TOTAL_COUNT=$(iconv -f WINDOWS-1256 -t UTF-8 目标文件名 | wc -c)
  # 阿拉伯语字符占比低于1%则修正为WINDOWS-1252
  if [ $(echo "$ARABIC_COUNT * 100 / $TOTAL_COUNT < 1" | bc) -eq 1 ]; then
    ENC="WINDOWS-1252"
  fi
fi
echo "目标文件 最终编码：$ENC"

该方案整体准确率可达99%以上，可满足绝大多数场景的使用需求。

替代工具 #

如果无法安装uchardet，也可以使用enca工具，指定阿拉伯语语系即可检测：

enca -L ar --guess 目标文件名

内容的提问来源于stack exchange，提问作者einpoklum