使用Django bulk_create批量导入时部分日期数据丢失，如何解决？

问题详情 #

• 从MSSQL Server导出CSV数据集，使用Django 5.0.6的bulk_create批量导入时，部分日期（如2024-06-13）的全部数据丢失；这些数据在Pandas DataFrame中存在，CSV读取和日期解析均正常。
• 单独导入单个月度CSV文件时数据正常，但批量导入2023年1月至今的所有月度文件时，2024-06-13及2024-06-24之后的数据均无法写入数据库。
• 已尝试分批导入、更换SQLite/PostgreSQL数据库，问题仍存在；移除update_conflicts配置未触发冲突报错，且确认缺失记录的主键不存在于系统中。

导入代码 #

sessions = [Session(**row) for row in df.to_dict(orient='records')]
       
objs = Session.objects.bulk_create(
    sessions, batch_size=900,
    # update_conflicts=True,
    # unique_fields=['session_number'],
    # update_fields=['tax_invoice_number']
)

可能的原因及解决方案 #

1. Pandas日期格式与Django模型字段不匹配 #

检查Session模型中日期字段的类型（DateField/DateTimeField），确保DataFrame中的日期数据类型与模型字段兼容：

• 如果模型字段是DateField，需将DataFrame中的日期转换为datetime.date类型：

  df['date_field_name'] = df['date_field_name'].dt.date
  

• 如果是DateTimeField，确保数据包含时间部分，若仅存日期需补充时间信息（如00:00:00），或转换为datetime.datetime类型。
• 生成Session实例前，打印几条缺失日期的行数据，确认日期字段的类型和值是否符合预期。

2. 模型或数据库层面的隐式过滤 #

• 检查模型逻辑：查看Session模型的clean()、save()方法，或pre_save信号中是否存在过滤特定日期的逻辑。bulk_create默认不会调用模型的clean()方法，可手动验证排查：

  from django.core.exceptions import ValidationError
  
  sessions = []
  invalid_rows = []
  for row in df.to_dict(orient='records'):
      obj = Session(**row)
      try:
          obj.full_clean()
          sessions.append(obj)
      except ValidationError as e:
          invalid_rows.append(f"无效数据: {row} - 错误: {e}")
  if invalid_rows:
      print("验证失败的行:")
      for err in invalid_rows:
          print(err)
  

• 检查数据库约束：查看数据库是否存在CHECK约束限制日期范围，导致插入被静默拒绝。可查看数据库的错误日志，确认是否有插入失败的记录。

3. DataFrame数据转换或遍历中的遗漏 #

• 确认多文件拼接后的DataFrame完整：打印df['date_field_name'].unique()，检查2024-06-13及之后的日期是否存在。
• 对比DataFrame行数与生成的sessions数量，确认转换过程中无数据丢失：

  print(f"DataFrame行数: {len(df)}, Session实例数: {len(sessions)}")
  

• 捕获实例化过程中的异常，排查是否有行因字段不匹配、空值不符合模型约束等问题被静默跳过：

  sessions = []
  errors = []
  for idx, row in enumerate(df.to_dict(orient='records')):
      try:
          sessions.append(Session(**row))
      except Exception as e:
          errors.append(f"第{idx}行: {row} - 错误: {str(e)}")
  if errors:
      print("实例化失败的行:")
      for err in errors:
          print(err)
  

4. bulk_create批量参数问题 #

• 调整batch_size参数（如改为500、1000，或移除参数使用默认值），排查是否因批量大小超出数据库限制导致某批次插入失败。
• 查看数据库日志，确认是否存在批量插入时的隐性错误（如SQL语句长度超限）。

5. 时区配置冲突 #

若项目启用了时区支持（USE_TZ=True）且模型日期字段为DateTimeField：

• 确保DataFrame中的日期已转换为Django认可的时区感知 datetime 对象：

  from django.utils import timezone
  df['date_field_name'] = df['date_field_name'].apply(timezone.make_aware)
  

• 检查settings.py中的TIME_ZONE配置，确认日期转换后未超出预期范围。

内容的提问来源于stack exchange，提问作者chi11ax