Python中多线程重复执行列表合并功能失效问题排查

核心问题 #

你的代码存在三个关键问题，导致线程仅执行一次就停止：

• 线程创建方式错误：创建Thread对象时，直接调用self.fill_buffer()和self.create_inverted_index()，这会让函数在主线程中立即执行，而非由新线程启动后执行。正确做法是传入函数对象（不带括号）。
• 缺少循环逻辑：repeated_fill_buffer方法没有循环结构，仅执行一次线程创建和启动流程就结束，无法重复执行填充与索引创建操作。
• 线程同步与判断时机错误：线程启动后立刻检查self.block是否为空，此时线程可能还未开始填充数据，导致判断失效；且join的位置错误，应该等待线程执行完毕后再处理缓冲区。

修复后的代码 #

def repeated_fill_buffer(self):
    """
    repeat the operation until reaching the end of file
    """
    while not self.is_end_of_files():  # 需自行实现判断所有文件是否读完的方法
        # 清空上一轮的缓冲区
        self.block = [[] for _ in self.files]

        # 正确创建线程：传入函数对象，而非直接调用函数
        filling_buffer_thread = threading.Thread(target=self.fill_buffer)
        create_inverted_index_thread = threading.Thread(target=self.create_inverted_index)

        # 启动线程
        filling_buffer_thread.start()
        create_inverted_index_thread.start()

        # 等待两个线程完全执行完毕
        filling_buffer_thread.join()
        create_inverted_index_thread.join()

        # 执行合并逻辑（根据你的需求补充具体合并操作）
        if any(self.block):
            self.merge_buffers()  # 假设你有合并缓冲区的方法
            # 清空缓冲区准备下一轮循环
            self.block = [[] for _ in self.files]

关键修改点说明 #

• 线程创建修正：将threading.Thread(self.fill_buffer())改为threading.Thread(target=self.fill_buffer)，确保函数由新线程执行，而非主线程提前触发。
• 添加循环控制：通过while循环以文件读取状态作为终止条件，实现重复执行填充与索引创建的逻辑。
• 调整同步顺序：启动线程后立即调用join()，确保两个线程都执行完成后再处理数据，避免因线程未完成就执行后续逻辑导致的错误。
• 修正缓冲区处理时机：在线程执行完毕后再检查缓冲区并执行合并，保证数据已填充完成。

内容的提问来源于stack exchange，提问作者Sam Sam