StreamReader编码识别异常求助：Unicode文件被识别为UTF8

问题描述 #

我遇到了一个疑似bug的问题，也可能是自身理解有误。经Notepad++确认某文件为Unicode编码，但使用以下PowerShell代码时，返回结果却为UTF8。我理解第二个参数为$true的StreamReader构造函数会从文件本身获取编码，且可通过CurrentEncoding属性获取该编码。希望有人能指出我的错误，或重复测试验证是否真的存在bug。

测试代码：

$reader = [IO.StreamReader]::New("C:\UNICODE.txt", $true)
Write-Host "$($reader.CurrentEncoding)"
$reader.Close(); $reader.Dispose()

补充说明：我在Windows 7+PS5环境测试，最终需兼容PS2版本。

问题分析与解决方案 #

咱们先把这个问题拆解清楚：

1. StreamReader自动编码检测的局限性 #

当你把StreamReader构造函数的第二个参数设为$true时，它确实会尝试通过文件的**字节顺序标记（BOM）**来识别编码，但它的检测逻辑很有限——只支持带BOM的UTF-8、UTF-16LE（也就是Notepad++里标注的“Unicode”）、UTF-16BE这几种编码。

如果你的文件是无BOM的UTF-16LE，StreamReader就无法通过BOM识别，会直接 fallback 到系统默认编码（在多数Windows PowerShell环境下表现为UTF8），这就是你看到误判的原因。而Notepad++的编码检测逻辑更复杂，即使无BOM也能识别出UTF-16LE，所以会出现两者判断不一致的情况。

2. 兼容PS2的解决办法 #

要解决这个问题，咱们需要手动检测文件的编码特征，再指定对应的编码打开文件。这里提供一个兼容PS2的实现示例：

$filePath = "C:\UNICODE.txt"
# 读取文件前2个字节用于检测BOM
$bomBytes = Get-Content -Path $filePath -Encoding Byte -TotalCount 2

$encoding = $null
# 检测UTF-16LE的BOM（0xFF 0xFE）
if ($bomBytes.Count -eq 2 -and $bomBytes[0] -eq 0xFF -and $bomBytes[1] -eq 0xFE) {
    $encoding = [Text.Encoding]::Unicode
}
# 可以扩展添加其他编码的检测，比如UTF-16BE（0xFE 0xFF）、UTF-8 BOM（0xEF 0xBB 0xBF）
else {
    # 这里可以根据实际场景调整默认编码，或者添加无BOM编码的检测逻辑
    $encoding = [Text.Encoding]::UTF8
}

# 用指定编码打开文件
$reader = New-Object IO.StreamReader($filePath, $encoding)
Write-Host "实际使用的编码：$($reader.CurrentEncoding)"
$reader.Close()
$reader.Dispose()

额外提示 #

如果你的文件确实是带BOM的UTF-16LE，但StreamReader还是识别成UTF8，那可能是文件的BOM被意外修改了——可以用十六进制编辑器（比如Notepad++的十六进制插件）查看文件前两个字节是否为FF FE，来验证这一点。

内容的提问来源于stack exchange，提问作者Gordon