Python使用mysqldump+GridFS存储MySQL备份的同步问题求助

你当前的核心问题是：用subprocess.Popen启动mysqldump后，进程还在后台执行就立刻读取文件，导致读不到完整内容。sleep(1)是不可靠的临时方案——数据库大小不同，导出耗时差异极大，无法保证等待时间足够。

以下是两种可靠的解决方案：

方案一：等待mysqldump进程执行完成 #

subprocess.Popen是异步启动进程的，不会等待命令结束。你可以改用subprocess.run（Python 3.5+）自动等待进程完成，或者用Popen.wait()显式等待，同时确保文件正确关闭。

修改后的step1代码（用subprocess.run）： #

from subprocess import run
import os
from os import environ

def step_1(filename):
    d = dict(environ)
    d["MYSQL_PWD"] = "root_pass"
    with open(filename, "wb") as file:
        # run会自动等待mysqldump执行完成
        run(
            ["mysqldump", "-h", "0.0.0.0", "-u", "root", "database"],
            stdout=file,
            env=d,
            check=True  # 导出失败时抛出异常，便于排查
        )

或用Popen+wait的方式： #

import subprocess
import os
from os import environ

def step_1(filename):
    d = dict(environ)
    d["MYSQL_PWD"] = "root_pass"
    file = open(filename, "wb")
    proc = subprocess.Popen(
        ["mysqldump", "-h", "0.0.0.0", "-u", "root", "database"],
        stdout=file,
        env=d
    )
    proc.wait()  # 强制等待mysqldump执行完毕
    file.close()  # 确保文件写入完成并关闭

这样step1执行完毕后，文件已完全写入，step2再读取就不会是空内容。

方案二：跳过临时文件，直接将导出内容写入GridFS #

更高效的方式是彻底跳过临时文件，直接把mysqldump的输出通过管道传到MongoDB GridFS——既节省磁盘空间，又从根源避免文件读写同步问题。

示例代码： #

import subprocess
from os import environ

def dump_to_gridfs():
    d = dict(environ)
    d["MYSQL_PWD"] = "root_pass"
    # 启动mysqldump，捕获标准输出管道
    proc = subprocess.Popen(
        ["mysqldump", "-h", "0.0.0.0", "-u", "root", "database"],
        stdout=subprocess.PIPE,
        env=d,
        bufsize=-1  # 使用系统默认缓冲区大小，提升传输效率
    )
    # 直接将输出流传入GridFS
    file_id = mongo_gridfs.put(proc.stdout, content_type='text/plain')
    # 等待进程完成，检查导出是否成功
    return_code = proc.wait()
    if return_code != 0:
        # 导出失败时删除GridFS中已写入的不完整文件
        mongo_gridfs.delete(file_id)
        raise Exception(f"mysqldump导出失败，返回码：{return_code}")
    return file_id

这个方案更适配你的测试场景——保存多版本数据库时，跳过临时文件能减少IO开销，同时彻底避免文件读写的同步问题。

内容的提问来源于stack exchange，提问作者isebarn