如何使用C#编程移除HTML源文件中的特殊乱码字符

云原生阿岚

2026-9-3

问题根因

从在线服务下载的后缀为.xls的文件本质是Office兼容的HTML格式网页文件，并非标准二进制Excel文件，这类文件内嵌了三类会导致导出异常的冗余内容：

Office专属的mso-*格式标记、私有样式、注释节点
不可见Unicode控制字符：包括零宽空格、零宽连字、文本方向控制符、UTF BOM标记
未解码的HTML实体、Unicode私有区占位字符
手动将内容复制到记事本时，记事本仅保留可见文本与回车、换行、制表三类基础控制字符，自动过滤上述所有冗余内容，因此可以解决乱码问题。

C# 实现方案

实现逻辑完全对齐记事本的字符过滤规则，分两步处理：先清理HTML中的Office专属冗余标签，再过滤所有不可见特殊字符，输出纯净的制表符分隔文本，和手动处理后的效果完全一致。
首先通过Nuget安装依赖包HtmlAgilityPack用于HTML解析（避免正则匹配的边界错误），核心实现代码如下：

using HtmlAgilityPack;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;

public static class FakeXlsCleaner
{
    // 定义允许保留的控制字符：回车、换行、水平制表
    private static readonly char[] AllowedControlChars = { '\r', '\n', '\t' };

    /// <summary>
    /// 清洗伪XLS（HTML格式）的冗余特殊字符，输出和记事本粘贴效果一致的纯净内容
    /// </summary>
    /// <param name="htmlSource">原始下载的伪xls文件的HTML源码</param>
    /// <returns>清洗后的TSV格式纯文本，可直接解析导入数据库</returns>
    public static string CleanHtmlXlsSource(string htmlSource)
    {
        // 1. 加载HTML，移除所有Office专属私有标签、注释、脚本、样式块
        var htmlDoc = new HtmlDocument();
        htmlDoc.LoadHtml(htmlSource);
        var nodesToRemove = htmlDoc.DocumentNode.SelectNodes("//comment() | //script | //style | //*[starts-with(name(), 'mso:')]");
        if (nodesToRemove != null)
        {
            foreach (var node in nodesToRemove)
            {
                node.Remove();
            }
        }

        // 2. 按表格行、单元格结构提取纯文本，自动解码HTML实体
        var sb = new StringBuilder();
        var tableRows = htmlDoc.DocumentNode.SelectNodes("//tr");
        if (tableRows != null)
        {
            foreach (var row in tableRows)
            {
                var cells = row.SelectNodes(".//td | .//th");
                if (cells == null || cells.Count == 0) continue;
                foreach (var cell in cells)
                {
                    string cellText = WebUtility.HtmlDecode(cell.InnerText);
                    // 3. 过滤所有不可见控制字符、零宽特殊字符
                    cellText = FilterInvalidSpecialChars(cellText);
                    sb.Append(cellText);
                    sb.Append('\t');
                }
                sb.Length--; // 移除行尾多余制表符
                sb.Append("\r\n"); // 行尾添加标准Windows换行符
            }
        }
        return sb.ToString().TrimEnd('\r', '\n');
    }

    private static string FilterInvalidSpecialChars(string input)
    {
        if (string.IsNullOrEmpty(input)) return input;
        var sb = new StringBuilder(input.Length);
        foreach (char c in input)
        {
            // 跳过Unicode私有使用区字符
            if (c >= 0xE000 && c <= 0xF8FF) continue;
            // 跳过零宽字符、方向控制符、BOM标记
            if (c == 0x200B || c == 0x200C || c == 0x200D || c == 0x200E || c == 0x200F || c == 0xFEFF) continue;
            // 保留可见字符、允许的基础控制字符
            if (char.IsLetterOrDigit(c) 
                || char.IsPunctuation(c) 
                || char.IsSeparator(c) 
                || char.IsSymbol(c)
                || AllowedControlChars.Contains(c))
            {
                sb.Append(c);
            }
        }
        // 清理连续冗余空白
        return Regex.Replace(sb.ToString(), @"\s+", " ").Trim();
    }
}

使用注意

读取下载的.xls文件时直接以文本模式读取即可，不需要调用Excel Interop或第三方Excel组件，读取时优先尝试UTF-8编码，若出现乱码可切换为GB2312编码重试
清洗完成的输出为制表符分隔的TSV纯文本格式，可直接按字段解析后导入Postgres，后续从PgAdmin导出CSV不会再出现异常特殊字符
若不想引入第三方依赖，可将HTML节点处理逻辑替换为正则移除<style>[\s\S]*?</style>、<script>[\s\S]*?</script>、、<[a-zA-Z]+:[\s\S]*?>格式的标签，但正则对嵌套标签的容错率较低，生产环境优先使用HtmlAgilityPack实现

内容的提问来源于stack exchange，提问作者DavidJS