Django应用中批量SQL INSERT报错排查与解决咨询

我经常遇到开发者在适配MySQL的Django批量插入代码里踩坑，结合你提到的场景，大概率是这几个常见问题导致的，咱们一个个拆解：

1. 主键自增冲突（最常见） #

如果那段自定义批量插入代码手动指定了自增主键（比如id字段），MySQL的自增机制会和Django的ORM逻辑直接冲突。比如代码里写了：

objs = [MyModel(id=1, name="test1"), MyModel(id=2, name="test2")]
MyModel.objects.bulk_create(objs)

但如果数据表已经存在id=1的记录，或者MySQL的自增计数器已经超过这个值，就会触发Duplicate entry '1' for key 'PRIMARY'错误。

解决方法：

• 优先不要手动指定自增主键，让Django和MySQL自动处理主键生成：

  objs = [MyModel(name="test1"), MyModel(name="test2")]
  MyModel.objects.bulk_create(objs)
  

• 如果业务必须指定主键，先查询确认主键未被占用，或者临时重置MySQL的自增计数器（不推荐生产环境直接操作）：

  ALTER TABLE your_table_name AUTO_INCREMENT = 100;
  

2. 字段类型不匹配 #

MySQL对字段类型的校验比SQLite严格得多，比如你在Django模型里定义了IntegerField，但批量插入时传入了字符串类型的值，或者DateTimeField传入了不符合格式的时间字符串，就会触发Data truncation或者Incorrect datetime value类错误。

解决方法：

• 确保批量插入的每个对象的字段值严格匹配模型定义的类型：

  # 错误示例：给IntegerField传字符串
  objs = [MyModel(age="25")]
  # 正确示例：传整数类型
  objs = [MyModel(age=25)]
  

• 对于日期时间字段，用Python的datetime对象而非字符串传入：

  from datetime import datetime
  objs = [MyModel(create_time=datetime.now())]
  

3. 批量插入记录数超过MySQL限制 #

MySQL默认限制了单条SQL语句的最大长度（由max_allowed_packet参数控制），如果你的批量插入记录太多，或者单条记录包含大文本字段，就会触发Packet for query is too large错误。

解决方法：

• 拆分批量插入的批次，比如每次插入1000条（可根据实际调整）：

  from itertools import islice
  
  def bulk_insert_in_batches(model_class, obj_list, batch_size=1000):
      iterator = iter(obj_list)
      while True:
          batch = list(islice(iterator, batch_size))
          if not batch:
              break
          model_class.objects.bulk_create(batch)
  

• 临时调整MySQL的max_allowed_packet参数（需要管理员权限）：

  SET GLOBAL max_allowed_packet = 67108864; -- 设置为64MB
  

4. 自定义原生SQL的语法错误 #

如果那段适配MySQL的代码是手写的原生SQL，很可能存在语法问题——比如字段名拼写错误、值的数量和字段不匹配、引号闭合错误等。比如：

from django.db import connection

with connection.cursor() as cursor:
    cursor.execute("""
        INSERT INTO my_table (naem, age) VALUES
        ('test1', 25),
        ('test2', 30)
    """)

这种情况下会触发Unknown column 'naem' in 'field list'的错误。

解决方法：

• 打印出生成的SQL语句，直接在MySQL客户端执行测试，快速定位语法问题：

  sql = """INSERT INTO my_table (naem, age) VALUES ('test1', 25), ('test2', 30)"""
  print(sql) # 复制到MySQL客户端执行排查
  

• 非特殊需求优先用Django的bulk_create替代原生SQL，ORM会自动处理MySQL的语法适配，减少手写错误。

5. 事务隔离级别导致的死锁 #

如果批量插入在事务中执行，MySQL默认的REPEATABLE READ隔离级别可能导致跨事务的锁冲突，触发Deadlock found when trying to get lock错误。

解决方法：

• 简化事务逻辑，尽量将批量插入放在单独的事务中执行：

  from django.db import transaction
  
  with transaction.atomic():
      MyModel.objects.bulk_create(objs)
  

• 谨慎调整MySQL的事务隔离级别（会影响全局业务，需评估后操作）：

  SET GLOBAL TRANSACTION ISOLATION LEVEL READ COMMITTED;
  

如果以上方法都没解决问题，建议你把具体的报错信息和那段适配MySQL的代码贴出来，我可以帮你更精准地定位问题。

内容的提问来源于stack exchange，提问作者Matt Cremeens