Python3多进程Pipe问题：CSVWriter进程无法生成目标文件

针对你用Pipe控制多进程CSV写入的异常情况，结合多进程通信的常见坑点，逐一给出排查方向和解决方法：

1. Pipe读写端混淆 #

multiprocessing.Pipe()返回的(conn1, conn2)是一对双向管道，父、子进程必须使用相反端点通信。如果两端用反，会导致消息完全无法传递，子进程一直阻塞在读取逻辑，或父进程无法发送指令。

正确写法示例：

from multiprocessing import Process, Pipe
import csv
import time

class CSVWriter:
    def __init__(self, conn, filename):
        self.conn = conn
        self.filename = filename

    def run(self):
        with open(self.filename, 'w', newline='', buffering=1) as f:
            writer = csv.writer(f)
            while True:
                # 轮询Pipe，避免阻塞在读取上
                if self.conn.poll(timeout=0.05):
                    msg = self.conn.recv()
                    if msg == 'exit':
                        break
                # 模拟Socket数据写入
                writer.writerow([time.time(), 'sample_data'])
        self.conn.close()

if __name__ == '__main__':
    parent_conn, child_conn = Pipe()
    writer_proc = Process(target=CSVWriter(child_conn, 'output.csv').run)
    writer_proc.start()

    # 父进程交互逻辑
    while True:
        user_input = input("> ")
        if user_input == 'exit':
            parent_conn.send('exit')
            break
        # 非exit输入时，子进程继续运行写入
        print("子进程持续写入...")

    writer_proc.join()
    parent_conn.close()

2. 文件缓冲导致空文件 #

Python文件默认有缓冲机制，如果子进程未刷新缓冲就被终止，内存中的内容不会写入磁盘。解决方法：

• 打开文件时指定buffering=1启用行缓冲
• 每次写入后手动调用f.flush()
• 用with语句管理文件（自动在退出时刷新并关闭）

3. 子进程循环阻塞逻辑 #

如果子进程死循环处理Socket数据，未定期检查Pipe消息，会永远收不到'exit'指令。必须在循环中定期轮询Pipe：

• 使用conn.poll(timeout=xx)设置短超时，避免占用过多CPU
• 不要直接用conn.recv()，否则会一直阻塞，无法处理Socket数据

4. 进程启动与资源清理 #

• 必须在if __name__ == '__main__':块内启动子进程（Windows系统要求，否则会重复创建进程导致异常）
• 父、子进程退出时都要关闭Pipe连接，避免资源泄漏

5. 空文件特殊场景排查 #

输入非'exit'时生成空文件，大概率是父进程提前终止，导致子进程被操作系统强制杀死（未完成写入）。检查父进程逻辑：

• 非'exit'输入时，父进程是否直接结束？需保持父进程存活，直到主动发送'exit'指令
• 子进程启动后是否有足够时间执行写入逻辑？可在子进程写入前加短睡眠测试

内容的提问来源于stack exchange，提问作者Mika