WebClient.DownloadString下载HTML遇特定字符终止，求原因及解决方法

可能的原因 #

• 网页内容中包含ASCII控制字符，最常见的是0x00（空字符，NULL）或0x1A（替换字符，SUB，传统DOS系统的文件结束标记）。这类字符会被很多文本编辑器（包括Notepad++）和字符串处理函数识别为“内容结束符”，导致显示或处理时提前截断，即使实际字节流后面还有内容。
• 另一种可能是网页存在非法UTF-8编码序列，WebClient的DownloadString在自动解码时遇到无法解析的字节序列，提前终止了解码过程，导致返回的字符串不完整。

处理方案 #

方案1：先获取字节数组，过滤控制字符后再解码 #

放弃使用DownloadString，改用DownloadData获取原始字节数据，过滤掉会导致截断的控制字符，再手动解码为UTF-8字符串：

using (WebClient client = new WebClient())
{
    client.Proxy = WebRequest.DefaultWebProxy;
    byte[] rawData = client.DownloadData(url);
    // 过滤掉空字符(0x00)和SUB字符(0x1A)，可根据需要添加其他控制字符
    byte[] cleanedData = rawData.Where(b => b != 0x00 && b != 0x1A).ToArray();
    string html = Encoding.UTF8.GetString(cleanedData);
}

方案2：处理非法UTF-8序列 #

如果是非法UTF-8序列导致的解码中断，可以在解码时指定错误处理方式，避免提前终止：

using (WebClient client = new WebClient())
{
    client.Proxy = WebRequest.DefaultWebProxy;
    byte[] rawData = client.DownloadData(url);
    // 遇到非法序列时替换为问号，避免解码中断
    string html = Encoding.UTF8.GetString(rawData, 0, rawData.Length, EncoderFallback.ReplacementFallback);
}

方案3：验证原始字节流 #

可以先将原始字节数组保存为本地文件，用十六进制编辑器查看完整内容，确认截断位置的字符：

using (WebClient client = new WebClient())
{
    client.Proxy = WebRequest.DefaultWebProxy;
    byte[] rawData = client.DownloadData(url);
    File.WriteAllBytes("page_raw.bin", rawData);
}

打开page_raw.bin用十六进制编辑器查看，就能明确截断位置的具体字节值，再针对性处理。

内容的提问来源于stack exchange，提问作者Powerslave