Django dumpdata仅导出单表2000行问题求助

一、可能忽略的问题点 #

• mysql-connector-python默认fetchsize限制：mysql-connector-python的游标默认fetchsize为2000，Django通过该连接器查询数据时，若未调整该参数，会导致每次仅获取2000条记录，最终dumpdata只导出部分数据。可在DATABASES配置中添加游标参数调整：

  DATABASES = {
      'default': {
          'ENGINE': 'mysql.connector.django',
          'NAME': 'your_db',
          'USER': 'user',
          'PASSWORD': 'pass',
          'HOST': 'host',
          'PORT': '3306',
          'OPTIONS': {
              'cursorclass': 'mysql.connector.cursor.SSCursor',  # 流式游标，避免内存占用过高
              'fetchsize': 10000  # 调整单次获取行数
          }
      }
  }
  

• MySQL连接超时设置：导出大表耗时较长时，若数据库wait_timeout或interactive_timeout设置过短，会导致连接提前中断，数据导出不完整。可通过以下SQL查看当前设置：

  SHOW VARIABLES LIKE 'wait_timeout';
  SHOW VARIABLES LIKE 'interactive_timeout';
  

  若值过小（比如默认8小时但导出耗时超期），需调大参数值。

• net_buffer_length配合max_allowed_packet：仅调整max_allowed_packet可能无效，net_buffer_length是MySQL客户端/服务器单次传输的缓冲区大小（默认16KB），若数据行较大，结合max_allowed_packet限制可能导致截断。建议将两者同时调整，net_buffer_length不超过max_allowed_packet的1/4。

• 磁盘空间或文件权限：导出的db.json所在目录磁盘空间不足，或当前用户无足够写入权限，会导致文件被截断。可通过以下命令检查磁盘剩余空间：

  df -h
  

二、Docker环境下修改MySQL max_allowed_packet的方法 #

1. 临时修改（容器重启后失效） #

进入运行中的MySQL容器，执行SQL命令调整：

docker exec -it <mysql_container_name> mysql -u root -p

在MySQL命令行中执行：

SET GLOBAL max_allowed_packet = 1073741824;  # 设置为1GB，按需调整
SET GLOBAL net_buffer_length = 1048576;  # 可选，配合调整缓冲区

验证生效：

SHOW VARIABLES LIKE 'max_allowed_packet';

2. 永久修改（通过配置文件） #

方法一：挂载自定义配置文件

1. 宿主机创建my.cnf文件，内容如下：

   [mysqld]
   max_allowed_packet = 1G
   net_buffer_length = 1M
   wait_timeout = 86400
   interactive_timeout = 86400
   

2. 启动容器时挂载该文件到容器内配置目录（官方MySQL镜像路径为/etc/mysql/conf.d/，MariaDB镜像为/etc/mysql/mariadb.conf.d/）：

   docker run -d \
     --name mysql-container \
     -v /path/on/host/my.cnf:/etc/mysql/conf.d/my.cnf \
     -e MYSQL_ROOT_PASSWORD=your_password \
     mysql:8.0
   

3. 重启容器生效：

   docker restart mysql-container
   

方法二：启动时直接传递参数

启动容器时通过命令行参数指定：

docker run -d \
  --name mysql-container \
  -e MYSQL_ROOT_PASSWORD=your_password \
  mysql:8.0 \
  --max_allowed_packet=1G \
  --net_buffer_length=1M \
  --wait_timeout=86400

3. Docker Compose配置 #

在docker-compose.yml中添加配置：

version: '3.8'
services:
  mysql:
    image: mysql:8.0
    environment:
      MYSQL_ROOT_PASSWORD: your_password
    # 方式一：直接传递参数
    command: --max_allowed_packet=1G --net_buffer_length=1M --wait_timeout=86400
    # 方式二：挂载配置文件
    # volumes:
    #   - ./my.cnf:/etc/mysql/conf.d/my.cnf
    ports:
      - "3306:3306"

重启服务生效：

docker-compose down && docker-compose up -d

内容的提问来源于stack exchange，提问作者Mr. Vi