C语言：如何实现并发压缩队列？并行处理输入块方法问询

嘿，这个问题我做类似工具的时候也碰到过，其实把顺序处理改成并发的核心逻辑很清晰——让多个工作单元（协程/线程）同时从输入队列取数据块，处理完直接塞进输出队列，完全不需要单独搞一个变量来统筹这整套流程，每个工作单元自己就能完成取数、压缩、存结果的闭环。

具体实现步骤（以Python为例，思路适配绝大多数语言） #

假设你用的是Python（其他语言比如Go、Java的逻辑基本一致，只是队列和并发API不同）：

1. 先搞定线程安全的输入/输出队列 #

首先得用语言自带的线程安全队列来传递数据，避免自己手动加锁踩坑。比如Python的queue.Queue，Go的channel，Java的BlockingQueue都是现成的选择。

2. 把你的comp函数包装成工作单元 #

把原来的压缩逻辑套进一个循环里，让每个工作单元不断从输入队列拿数据，压缩后丢进输出队列，直到输入队列为空：

import queue
import threading
import zlib

# 你的原有压缩函数
def comp(data_block):
    return zlib.compress(data_block)

# 并发工作函数
def compression_worker(input_queue, output_queue):
    while True:
        try:
            # 从输入队列取数据块，加个超时防止无限阻塞
            block = input_queue.get(timeout=1)
            # 调用压缩逻辑
            compressed_block = comp(block)
            # 把结果放进输出队列
            output_queue.put(compressed_block)
            # 标记当前任务完成（Queue的task_done用来配合join）
            input_queue.task_done()
        except queue.Empty:
            # 输入队列空了，退出工作循环
            break

3. 启动多个工作单元并发干活 #

根据你的CPU核心数（比如4核就开4个）启动工作线程，让它们同时处理输入队列里的数据块：

def main():
    # 初始化队列
    input_q = queue.Queue()
    output_q = queue.Queue()

    # 填充输入队列：比如从大文件读取分块数据
    with open("source_file.bin", "rb") as f:
        # 按1MB大小分块，你可以根据需求调整
        while chunk := f.read(1024 * 1024):
            input_q.put(chunk)

    # 启动4个工作线程（数量可以根据CPU核心数调整）
    worker_count = 4
    for _ in range(worker_count):
        worker_thread = threading.Thread(
            target=compression_worker,
            args=(input_q, output_q)
        )
        worker_thread.daemon = True
        worker_thread.start()

    # 等待输入队列所有任务都处理完
    input_q.join()

    # 把输出队列里的压缩块写入目标文件
    with open("compressed_file.bin", "wb") as f:
        while not output_q.empty():
            f.write(output_q.get())

if __name__ == "__main__":
    main()

几个关键注意事项 #

• 队列必须线程安全：千万别用普通列表自己模拟队列，不然多线程下会出现数据竞争的问题，直接用语言官方提供的线程安全队列就好。
• 控制并发数：不要贪多开几十个线程，一般和CPU核心数相当就够了，太多线程会因为上下文切换消耗额外资源，反而降低效率。
• 处理结果顺序（如果需要）：如果你的业务要求压缩后的块顺序和输入完全一致，那普通队列可能会乱序（因为不同线程处理速度不一样）。这时候可以给每个数据块加一个序号，输出后按序号排序再拼接，或者用支持有序的队列实现。
• 优雅退出：上面的例子用了队列空+超时的方式让线程退出，你也可以给输入队列塞一个特殊的终止信号（比如None），让工作线程收到后主动退出。

这样改造之后，你的压缩工具就能同时处理多个数据块，效率比顺序处理提升不少！

内容的提问来源于stack exchange，提问作者wingardium