C程序读取UTF-8文件调用printf打印时特殊字符显示异常如何解决

问题排查与解决 #

printf本身不需要针对UTF-8做额外编码处理，只要输出的是合法UTF-8字节流、终端环境配置正确，就能正常显示。你遇到的字符显示为占位符的问题，通常是以下几个原因导致的：

• 程序未主动初始化系统locale
  C程序默认启动时采用C locale，即便终端已经设置了C.UTF-8，如果没有在代码开头调用setlocale(LC_ALL, "");关联系统环境的locale配置，C标准库的字符处理逻辑会默认按单字节ASCII处理，遇到多字节UTF-8字符就会判定为非法字符，输出替换占位符。
• 文件包含UTF-8 BOM头
  Windows下保存UTF-8文件时，记事本等编辑器默认会在文件开头插入3字节的BOM标识（0xEF 0xBB 0xBF），类Unix环境的标准库和终端默认不处理UTF-8 BOM，这三个字节会被当成非法字符输出为占位符。可以用十六进制查看工具确认文件开头是否存在BOM，存在的话读取时跳过开头3字节即可。
• UTF-8字符被截断
  UTF-8是变长编码，单个字符占1~4字节，如果read()调用指定的读取字节数刚好将一个多字节字符从中间截断，不完整的字节序列会被终端判定为非法字符，显示为占位符。读取时建议一次性读取完整文件内容，或额外判断确保截断位置处于UTF-8字符边界。
• 终端字体缺失对应字形
  你要显示的内容包含较多冷门数学符号，如果终端使用的字体没有收录这些符号的字形，也会显示为占位符。可以换用支持全Unicode字符的等宽字体（如Noto Sans Mono）验证。

内容的提问来源于stack exchange，提问作者Mr Fake