文件编码BOM标记的必要性论证及官方规范推进技术问询

核心论证观点 #

• 第一，文件信息必须具备自包含性：目前行业尚未形成可明确判定文件适用编码的清晰通用算法，没有零误差的机制能让程序精准识别无标识纯文本文件的实际编码规则。
• 第二，shebang行的兼容性问题应当在脚本语言层面完成修正：编码是层级远高于shebang行的基础概念，这类适配问题不应该成为阻碍编码标识落地的理由，理应由脚本解释器侧完成适配迭代，而非反向要求文件放弃携带编码标识。

实际开发场景的观察 #

• 日常开发中经常难以判定文件的正确编码，同一份文件被不同编辑器、不同设备以不同编码存储的情况十分普遍。
• 多数新手开发者都会遭遇这类编码识别错位问题，甚至会因为不同工具的默认编码策略差异，完全忽略文件中出现的乱码，埋下长期维护隐患。
• 兼容性是软件维护的重要维度，但不应该固守造成系统逻辑混淆的旧规则，需要主动调整适配方向，匹配技术演进的长期目标。

待解答的技术问题 #

• 当前行业是否有明确的推进思路，将添加BOM标记定为通用官方编码规范？
• 是否存在绝对不能引入BOM标记的刚性技术阻碍？比如行业是否已经落地了足够清晰可靠的文件编码识别算法，完全不需要BOM作为辅助标识？
• 现有相关认知参考自技术社区关于UTF-8与带BOM的UTF-8差异的公开讨论，欢迎提供可修正相关认知的补充参考资料。

内容的提问来源于stack exchange，提问作者Seonghyeon Lee