16位字节系统中ASCII/UTF-8文件编码与C语言读取行为问询

核心概念澄清 #

首先明确C标准的定义：C中的**字节（byte）**是存储char的最小单元，其位数由系统实现决定（可以是16位），但要求每个字节必须能容纳基本字符集的所有字符（即ASCII的7位字符）。而我们日常说的文件“字节”通常指8位的octet，这是ASCII/UTF-8编码的基础单元。

ASCII/UTF-8在16位字节系统中的编码方式 #

• ASCII字符（7位）和UTF-8的ASCII兼容部分，在16位字节系统中每个字符仍占用一个C字节，不会将两个字符合并到一个16位字节中。
• 具体来说，文件中的每个8位ASCII编码值（比如'a'的0x61）会被映射到16位的C字节中，高位（9位，16-7=9）会被填充为0（保证基本字符集的编码值非负，符合C标准对基本字符的要求）。

代码示例的执行结果 #

针对你给出的代码：

char character;
FILE* file = fopen("file.txt", "r");
fread(&character, 1, 1, file);

若文件内容为ASCII编码的ab（对应两个8位octet：0x61和0x62）：

• fread的第二个参数1指的是每个元素的大小（以C字节为单位），第三个参数1是读取的元素个数。
• 执行后，character中存储的是'a'对应的16位值（比如0x0061，高位补0），而非'a'与'b'的组合。因为文件中的每个ASCII字符是独立的8位单元，读取时每个单元对应一个C字节，系统会自动完成8位octet到16位C字节的映射。

内容的提问来源于stack exchange，提问作者alexisrdt