多进程读取文件中的行

使用Python中的multiprocessing库实现多进程读取文件中的行。

示例代码如下：

import multiprocessing

def read_file_chunk(filename, queue):
    with open(filename, 'r') as file:
        for line in file:
            queue.put(line)

def read_file(filename):
    queue = multiprocessing.Queue()
    chunk_size = 100

    processes = []
    for i in range(multiprocessing.cpu_count()):
        process = multiprocessing.Process(target=read_file_chunk, args=(filename, queue))
        processes.append(process)
        process.start()

    lines_read = 0
    while processes:
        for i, process in enumerate(processes):
            if not process.is_alive():
                processes.pop(i)
                break
        else:
            while not queue.empty():
                line = queue.get()
                # do something with the line
                lines_read += 1
                if lines_read % chunk_size == 0:
                    print(f"{lines_read:,} lines read")

    print(f"Finished reading {lines_read:,} lines")

if __name__ == '__main__':
    read_file('file.txt')

上述代码创建了一个读取文件的函数read_file()，该函数会创建多个子进程来读取文件中的行。每个子进程都会将读取到的行放在一个进程安全的队列中，主进程会从队列中取出行并做进一步处理。

在read_file()函数中，先创建一个multiprocessing.Queue()对象来存储读取到的行，接着为每个CPU核心创建一个子进程来读取文件中的行，并启动这些子进程。主进程会从队列中取行并做进一步处理，当所有子进程都运行结束时，主进程会停止。

由于子进程会将读取到的行放在一个进程安全的队列中，主进程可以避免线程并发的同步问题。

为了确保能够平衡各个进程的负载，在read_file()函数中，使用了multiprocessing.cpu_count()函数来获取CPU核心数，并为每个子进程分配一部分文件内容。在这个例子中，每个子进程都会读取文件中的所有行，但在实际情况下，根据文件大小和CPU核心数进行适当的调整。