.NET 4.8与.NET 6读取文件字符编码值不同的原因及解决方法

问题背景 #

在 .NET 4.8 的 VB.NET 项目中，使用以下代码读取 Windows-1252 编码的文件：

File.ReadAllText(filePath, Encoding.GetEncoding(1252))

迁移到 ASP.NET Core 6 的 C# 项目后，使用对应代码读取同一文件：

File.ReadAllText(filePath, Encoding.GetEncoding(1252));

发现文件中某个特殊字符，VB.NET 返回的字符编码值为 132，而 ASP.NET Core 6 返回的是 8222。已尝试注册编码提供程序（如引入 System.Text.Encoding.CodePages 包并调用 Encoding.RegisterProvider(CodePagesEncodingProvider.Instance)），但结果无变化。

差异原因 #

这个差异的核心是 .NET Framework 和 .NET Core/.NET 5+ 对 Windows-1252 编码的解码实现不同：

• 在 .NET Framework（VB.NET 使用的环境）中，Encoding.GetEncoding(1252) 使用微软自家的编码实现，对于 Windows-1252 中部分字节（如十进制 132，即十六进制 0x84），会被映射到 Unicode 控制字符 U+0084（十进制 132）。
• 在 .NET Core/.NET 6+ 中，默认使用 ICU（International Components for Unicode）库处理编码，严格遵循 Windows-1252 标准，将字节 0x84 正确映射到 Unicode 印刷字符 U+201A（十进制 8222，即单低9引号）。

你提到的注册编码提供操作，主要是为了让 .NET Core 支持非默认编码（如 Windows-1252），但不会改变 ICU 库的标准映射行为，因此无法解决这个差异。

解决方案 #

根据需求，有两种处理方向：

1. 让 ASP.NET Core 6 解码行为与 .NET Framework 一致 #

如果需要保持和旧系统相同的字符映射结果，可以手动指定解码器的 fallback 规则，实现自定义映射：

// 创建自定义编码，将字节0x84映射到U+0084，与.NET Framework行为对齐
var encoding = Encoding.GetEncoding(
    1252,
    new EncoderReplacementFallback("?"),
    new DecoderReplacementFallback("\u0084")
);
var content = File.ReadAllText(filePath, encoding);

若需批量处理多个字节的映射，可自定义 DecoderFallback 类实现更复杂的逻辑。

2. 修正 VB.NET 代码，统一为标准 Windows-1252 解码 #

如果希望新旧系统的解码结果统一为标准行为，可修改 VB.NET 代码，明确指定解码器遵循标准映射：

Dim encoding As Encoding = Encoding.GetEncoding(1252, New EncoderReplacementFallback("?"), New DecoderExceptionFallback())
Dim content As String = File.ReadAllText(filePath, encoding)

这样字节 0x84 会被正确解码为 U+201A（十进制 8222），与 ASP.NET Core 6 的结果一致。

额外说明 #

需确认文件中的目标字节确实是十进制 132（0x84），若为其他字节需调整对应映射规则。建议优先选择统一到标准 Windows-1252 解码行为，避免后续出现更多编码兼容问题。

内容的提问来源于stack exchange，提问作者Phoniex