C#如何处理百万行文件避免程序崩溃及界面冻结问题

兄弟，你这问题我太熟了——100万行的文件直接在UI线程同步处理，不卡才怪！小文件处理快，UI线程没被占太久，所以正常；大文件要耗好几秒甚至更久，UI线程被死死占着没法响应刷新、点击这些操作，自然就冻结了，列表框也没机会更新内容。给你几个最佳处理方案，一步步解决：

说白了就是别让UI线程干重活，把耗时的文件读取、检查逻辑丢给后台线程，UI线程只负责响应用户操作和更新界面。以C# WinForms/WPF为例，用async/await结合Task.Run是最方便的方式，既不会阻塞UI，还能轻松处理异步结果：

private async void btnStart_Click(object sender, EventArgs e)
{
    // 先禁用按钮，防止用户重复点击
    btnStart.Enabled = false;
    listRemovedLines.Items.Clear();
    
    // 把要移除的词汇存到HashSet里，后面匹配更快
    var forbiddenWords = new HashSet<string>(txtForbiddenWords.Text.Split(',').Select(w => w.Trim()));
    var removedLines = new List<string>();

    // 把耗时操作丢到后台线程
    await Task.Run(() =>
    {
        // 用File.ReadLines延迟加载，不用一次性把100万行读到内存
        foreach (var line in File.ReadLines("your_large_file.txt"))
        {
            // 检查当前行是否包含禁用词汇
            if (forbiddenWords.Any(word => line.Contains(word)))
            {
                removedLines.Add(line);
            }
        }
    });

    // 处理完后，在UI线程更新列表框
    foreach (var line in removedLines)
    {
        listRemovedLines.Items.Add(line);
    }
    
    btnStart.Enabled = true;
}

如果要检查的禁用词汇很多，每次用line.Contains(word)逐个匹配会很慢。这里有两个优化方向：

• 用HashSet存禁用词：上面代码已经用到了，HashSet的查找是O(1)，比普通List的O(n)快太多；
• 预编译正则表达式：如果需要更复杂的匹配（比如忽略大小写、模糊匹配），预编译正则能大幅提升效率：

// 预编译正则，只做一次
var regexPattern = string.Join("|", forbiddenWords.Select(Regex.Escape));
var forbiddenRegex = new Regex(regexPattern, RegexOptions.Compiled | RegexOptions.IgnoreCase);

// 匹配时直接用：
if (forbiddenRegex.IsMatch(line))
{
    removedLines.Add(line);
}

如果移除的行数特别多（比如几万行），一次性把所有行加到列表框也会导致UI卡顿。可以改成分批添加，或者用虚拟列表模式（比如WinForms ListBox的VirtualMode），只加载当前可见的行，内存和UI性能都会好很多：

// 分批更新的例子，每处理1000行就更新一次UI
await Task.Run(() =>
{
    int count = 0;
    foreach (var line in File.ReadLines("your_large_file.txt"))
    {
        if (forbiddenWords.Any(word => line.Contains(word)))
        {
            removedLines.Add(line);
            count++;
            // 每1000行更新一次UI
            if (count % 1000 == 0)
            {
                // 注意要在UI线程更新
                listRemovedLines.Invoke(new Action(() =>
                {
                    foreach (var l in removedLines.Skip(removedLines.Count - 1000))
                    {
                        listRemovedLines.Items.Add(l);
                    }
                }));
            }
        }
    }
});

别用File.ReadAllLines，它会一次性把所有行读到内存里，100万行的话内存占用会很高。用File.ReadLines或者StreamReader.ReadLine都是延迟加载，读一行处理一行，内存压力小很多。

按照上面的方案改完，你再试100万行的文件，UI肯定不会冻结，列表框也能实时（或分批）显示移除的行啦！

内容的提问来源于stack exchange，提问作者Denis