如何为ConcurrentQueue实现多线程处理以提升文本处理效率？

嗨，我来帮你把这段代码改成10个线程并行处理，既保证不重复处理数据，又能有效缩短整体耗时！

核心思路说明 #

首先，ConcurrentQueue本身就是为多线程场景设计的，它的TryDequeue方法是线程安全的原子操作——多个线程同时调用时，绝对不会出现两个线程取到同一个元素的情况，这就从根源上解决了重复处理的问题。

不过有两个细节必须注意：

1. 要让10个线程同时跑起来，并且得等所有线程处理完再结束程序，不然主线程提前退出会导致部分任务中断；
2. 你的log方法直接用File.AppendText多线程写入会出问题（比如内容乱序、写入失败），因为StreamWriter不是线程安全的，得加锁保证同一时间只有一个线程写入文件。

修改后的完整代码 #

using System;
using System.Collections.Concurrent;
using System.IO;
using System.Threading;

class Program
{
    private static ConcurrentQueue<string> queue;
    // 定义静态锁对象，保证文件写入的线程安全
    private static readonly object logLock = new object();

    static void Main(string[] args)
    {
        // 读取文件内容到并发队列
        queue = new ConcurrentQueue<string>(File.ReadAllLines("input.txt"));

        // 创建10个线程，每个线程绑定Process处理方法
        Thread[] threads = new Thread[10];
        for (int i = 0; i < threads.Length; i++)
        {
            threads[i] = new Thread(Process);
            threads[i].Start();
        }

        // 等待所有线程完成处理，避免主线程提前退出
        foreach (Thread thread in threads)
        {
            thread.Join();
        }

        Console.WriteLine("所有数据处理完成！");
    }

    static void Process()
    {
        // 把原来的while(queue.Count>0)改成直接循环TryDequeue
        // 多线程环境下Count的判断有延迟，TryDequeue成功才处理更可靠
        while (queue.TryDequeue(out string entry))
        {
            Console.WriteLine($"线程{Thread.CurrentThread.ManagedThreadId}处理：{entry}");
            Log("out.txt", entry);
        }
    }

    private static void Log(string file, string data)
    {
        // 加锁确保同一时间只有一个线程写入文件，避免内容错乱
        lock (logLock)
        {
            using (StreamWriter writer = File.AppendText(file))
            {
                writer.WriteLine(data);
                // using块会自动释放资源，不需要手动Close和Flush（保留也不影响）
            }
        }
    }
}

关键改动详解 #

• 线程创建与等待：在Main方法里创建10个Thread实例，启动后调用Join等待所有线程完成，这样主线程不会提前结束，确保所有数据都被处理完毕。
• 循环逻辑优化：把while (queue.Count > 0)改成while (queue.TryDequeue(out entry))——多线程环境下，当你判断Count>0后，可能另一个线程已经把最后一个元素取走了，直接用TryDequeue的结果作为循环条件是原子操作，完全没有竞态问题。
• 文件写入线程安全：新增logLock静态对象，在Log方法里用lock包裹写入逻辑，保证同一时间只有一个线程操作文件，彻底避免写入冲突和内容错乱。

这样修改后，10个线程会并行从队列里取数据处理，既不会重复，又能有效利用多核CPU缩短处理时间，同时保证输出文件的完整性~

内容的提问来源于stack exchange，提问作者R2-D2