Python操作MySQL：如何上传含查询语句的350-500MB压缩文件至表？

首先得明确：直接把ZIP文件上传到数据表并不是解决「执行耗时过长」的最优解——因为数据库最终还是得解压后执行SQL。我先给你解决核心的慢执行问题，再补充如果要存储ZIP文件的方法：

一、高效执行大SQL文件（重点解决耗时问题） #

这才是你当前最应该优先考虑的方向，比存ZIP实用得多：

• 用命令行直接导入（跳过GUI中间层）
  GUI工具（比如Navicat、phpMyAdmin）处理大文件时会有内存瓶颈和额外开销，改用MySQL原生命令行工具快很多。如果你的ZIP里是单个SQL文件，甚至可以直接管道解压+导入，不用先把文件解压到本地：

  # 直接从ZIP导入（无需提前解压）
  unzip -p your_sql_queries.zip | mysql -u your_username -p your_database_name
  

  如果已经解压了SQL文件，直接用：

  mysql -u your_username -p your_database_name < your_large_sql_file.sql
  

  输入密码后就会后台执行，比GUI快几倍甚至几十倍。

• 调整MySQL配置提升性能
  大文件执行慢很多时候是因为默认配置限制：

  • 增大max_allowed_packet：默认值很小（比如4MB），大SQL语句会直接报错，建议临时调到1G左右（SET GLOBAL max_allowed_packet = 1073741824;），执行完可以调回合适值。
  • 优化InnoDB参数：如果你的表是InnoDB引擎，把innodb_buffer_pool_size设为服务器内存的50%-70%（比如服务器有16G内存就设为8G），innodb_log_file_size调到2G左右，这些参数能大幅减少磁盘IO，提升批量操作速度。修改后需要重启MySQL生效。
  • 禁用自动提交和外键检查：在你的SQL文件开头加上这两行，结尾再恢复：

    SET autocommit = 0;
    SET FOREIGN_KEY_CHECKS = 0;
    -- 你的所有查询语句
    COMMIT;
    SET FOREIGN_KEY_CHECKS = 1;
    

    这样批量插入/更新时不会每次都触发事务提交和外键校验，速度会飙升。

• 拆分文件并行执行（如果适用）
  如果你的ZIP里是很多独立的小查询文件，可以拆分成多个小批次，在不同终端窗口并行执行（注意：不要同时写同一张表，避免锁冲突）。

二、如果确实需要把ZIP文件存储到数据表 #

如果你只是想归档这些查询文件，而非立即执行，可以把ZIP作为二进制数据存入MySQL：

• 创建存储表
  先建一个带LONGBLOB字段的表（LONGBLOB支持最大4GB的二进制数据，足够存你的500MB ZIP）：

  CREATE TABLE sql_archive_files (
      id INT AUTO_INCREMENT PRIMARY KEY,
      file_name VARCHAR(255) NOT NULL COMMENT 'ZIP文件名',
      zip_data LONGBLOB NOT NULL COMMENT 'ZIP文件二进制内容',
      upload_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '上传时间'
  );
  

• 上传ZIP文件
  方法1：用MySQL的LOAD_FILE函数（要求文件在MySQL服务器本地，且你的账号有FILE权限）：

  INSERT INTO sql_archive_files (file_name, zip_data)
  VALUES ('my_queries.zip', LOAD_FILE('/path/to/your/my_queries.zip'));
  

  方法2：用编程语言（比如Python）读取ZIP文件内容，作为二进制数据插入：

  import mysql.connector
  from mysql.connector import Error
  
  try:
      connection = mysql.connector.connect(
          host='your_host',
          database='your_db',
          user='your_user',
          password='your_pass'
      )
      cursor = connection.cursor()
      with open('my_queries.zip', 'rb') as f:
          zip_content = f.read()
      query = "INSERT INTO sql_archive_files (file_name, zip_data) VALUES (%s, %s)"
      cursor.execute(query, ('my_queries.zip', zip_content))
      connection.commit()
      print("ZIP文件上传成功")
  except Error as e:
      print(f"错误: {e}")
  finally:
      if connection.is_connected():
          cursor.close()
          connection.close()
  

  不过要注意：这种方式只是存储文件，后续要执行查询的话，还是得把ZIP从数据库取出、解压，再执行，不如直接处理原始SQL文件高效。

三、额外优化小技巧 #

• 合并批量INSERT：如果你的SQL里是大量单行INSERT，把它们合并成多行INSERT，比如INSERT INTO table (col1, col2) VALUES (v1,v2), (v3,v4), ...;，能减少网络交互和事务次数。
• 临时关闭二进制日志（测试环境）：如果是在测试环境执行，可以临时关闭二进制日志（SET sql_log_bin = 0;），执行完再打开，能节省大量IO开销，但生产环境禁止这么做（会破坏数据一致性）。

内容的提问来源于stack exchange，提问作者user7331387