Flask应用运行时向MySQL导入数据的免停服方案咨询

核心问题分析 #

你当前必须停服的原因，大概率是SQLAlchemy的持久化数据库连接在数据导入期间持有锁，或者导入操作的锁与应用的查询/写操作冲突，导致导入卡住或应用报错。另外Apache+mod_wsgi的进程模式可能让旧连接一直存活，无法自动释放。

具体调整方案 #

1. 修改SQLAlchemy连接配置，避免持久化锁 #

• 在Flask应用的SQLAlchemy配置中，开启连接池回收，让连接定期失效，避免长期持有连接：

  app.config['SQLALCHEMY_POOL_RECYCLE'] = 300  # 5分钟回收一次连接
  app.config['SQLALCHEMY_POOL_PRE_PING'] = True  # 获取连接前先检查可用性
  

• 如果用的是原生SQLAlchemy引擎，手动配置：

  from sqlalchemy import create_engine
  engine = create_engine(
      'mysql+pymysql://user:pass@host/db',
      pool_recycle=300,
      pool_pre_ping=True
  )
  

  这样配置后，应用会定期刷新数据库连接，导入时不会因为旧连接持有锁导致冲突。

2. 调整mod_wsgi的进程/线程配置，实现平滑重启（无需停服） #

• 用mod_wsgi的优雅重启功能替代完全重启Apache，这个命令会让Apache启动新的子进程处理新请求，旧进程处理完现有请求后退出，不会中断服务：

  apache2ctl graceful
  

  你不需要注释配置文件，导入前执行优雅重启即可让所有Flask应用的数据库连接重新建立，导入完成后可根据情况再执行一次。
• 调整mod_wsgi的进程数和线程数，分散连接压力，减少锁冲突概率：
  在Apache的站点配置中添加：

  WSGIDaemonProcess flask_apps processes=4 threads=5 python-home=/path/to/your/virtualenv
  WSGIProcessGroup flask_apps
  

3. 数据导入时的锁优化 #

• 执行mysqldump时添加--single-transaction参数（适用于InnoDB引擎），避免全局锁，保证数据一致性的同时不影响应用正常访问：

  mysqldump --single-transaction <db1> | mysql meetings
  

• 如果是MyISAM引擎（不推荐），可以用--lock-tables=false，但可能导致数据不一致，谨慎使用。

关于旧方案的适用性 #

Stack Overflow上的旧方案（比如连接池配置、优雅重启、mysqldump参数优化）大部分依然适用于Ubuntu 20.04 + Apache 2.4 + mod_wsgi + Python3.10的环境，核心原理都是避免锁冲突和连接持久化问题。需要注意两点：

• 确保mod_wsgi版本适配Python3.10（Ubuntu 20.04默认版本针对Python3.8，需安装libapache2-mod-wsgi-py3适配版或从源码编译）。
• SQLAlchemy 1.4+版本的pool_recycle和pool_pre_ping参数依然有效，没有大的配置变更。

验证步骤 #

1. 修改SQLAlchemy连接池配置，用apache2ctl graceful优雅重启Apache。
2. 执行带--single-transaction参数的导入命令，观察应用是否正常访问、导入是否顺利。
3. 若仍有冲突，尝试优雅重启后立即执行导入，确认问题是否解决。

内容的提问来源于stack exchange，提问作者Ray Kiddy