多进程读取文件（Python）

在Python中，使用多进程读取文件可以大大提高读取速度，特别是在读取大文件时。下面是一个基本的多进程读取文件的示例代码：

import os
from multiprocessing import Pool

def process_file(file_path):
    with open(file_path, 'r') as f:
        lines = f.readlines()
        for line in lines:
            # do something with each line
            pass

if __name__ == '__main__':
    files = ['/path/to/file1', '/path/to/file2', '/path/to/file3']
    pool = Pool(processes=os.cpu_count())
    pool.map(process_file, files)

在上面的代码中，我们首先定义了一个处理单个文件的函数process_file()，该函数读取文件并对每行执行某些操作。然后，我们创建了一组文件路径，并使用Pool类创建了一个进程池。在调用map()方法时，Pool会将文件列表中的每个文件分配给一个进程进行处理。

请注意，我们使用os.cpu_count()来确定机器上的逻辑CPU数量。这样，我们可以确保我们创建的进程池不会超过CPU的最大并发执行能力。

如果您需要对所有文件进行排序或过滤等操作，可以在应用函数前对文件列表进行操作，如下所示：

import os
from multiprocessing import Pool

def process_file(file_path):
    with open(file_path, 'r') as f:
        lines = f.readlines()
        for line in lines:
            # do something with each line
            pass

if __name__ == '__main__':
    base_path = '/path/to/files'
    all_files = os.listdir(base_path)
    # filter or sort the files as needed
    files = [os.path.join(base_path, f) for f in all_files]
    pool = Pool(processes=os.cpu_count())
    pool.map(process_file, files)

这里，我们使用os.listdir()获取指定目录中的所有文件名，并使用os.path.join()构建完整