使用bash fold处理文本后Emacs将文件识别为RAW-TEXT而非UTF-8问题

• 根本原因是fold命令的字符拆分逻辑和当前环境的locale设置不匹配，产生了无效UTF-8字节序列，触发了Emacs严格的编码检测 fallback 规则。

具体拆解如下：

1. 西里尔字母在UTF-8编码下属于多字节字符，单个字符占2字节长度。如果当前shell环境的LC_CTYPE locale被设置为C/POSIX（而非UTF-8类的locale），fold命令会默认按字节而非字符为单位做宽度拆分，很容易从中间切断一个完整的多字节西里尔字符，生成不符合UTF-8编码规范的孤立字节。
2. 大多数工具（终端、普通编辑器）的UTF-8编码检测逻辑容错性较高，遇到无效字节时会自动用替换字符（比如�）补齐，或者直接忽略错误序列，因此看起来显示正常；但Emacs的编码检测逻辑更为严格，只要检测到文件中存在无效UTF-8序列，就会放弃UTF-8编码识别， fallback 为RAW-TEXT模式直接展示原始字节，就出现了你遇到的异常。
3. 你可以通过hexdump -C newfile.org命令验证这个问题：输出中如果存在单独出现的0xD0/0xD1字节（西里尔字符的首字节固定是这两个值之一），后面没有跟随合法的第二字节，就可以确认是字符被截断导致的无效编码。

临时解决可以在运行脚本前先执行export LC_ALL=C.UTF-8（或你系统中存在的任意UTF-8 locale），让fold按UTF-8字符为单位拆分；也可以改用fmt等原生支持多字节字符的文本折行工具替代fold。

内容的提问来源于stack exchange，提问作者sad