Django使用bulk_create：如何用通用结构替代硬编码字段？

模型定义 #

class EmotionGroup(models.Model):  # 注：原代码类名写为Emotion，但外键关联EmotionGroup，推测为笔误修正
    emotion_grp_id = models.AutoField(primary_key=True, ...)
    emotion_group = models.CharField(max_length=55, ...)

class EmotionSubGroup(models.Model):
    emotion_sub_grp_id = models.AutoField(primary_key=True, ...)
    emotion_grp = models.ForeignKey(EmotionGroup, on_delete=models.CASCADE, ...)
    emotion_sub_group = models.CharField(max_length=55, ...)

当前实现（views.py） #

def DataUpload(request):
    # ... 其他前置逻辑
    df_rawdata = pd.read_csv(csv_file, sep='')  # 从CSV读取数据到DataFrame

    row_iter = df_rawdata.iterrows()
    data = [
        EmotionSubGroup(
            emotion_grp_id=row['emotion_grp'],
            emotion_sub_group=row['emotion_sub_group'],
        )
        for index, row in row_iter
    ]         

    EmotionSubGroup.objects.bulk_create(data)

核心问题 #

能不能用通用的数据结构替代硬编码的字段名，实现和当前代码一致的批量上传效果？

当然可以，下面是几种实用的通用化实现方案：

方法1：字典解包+字段映射（适配列名与模型字段名不一致的场景） #

先定义CSV列名到模型字段的映射关系，再通过字典推导生成模型实例参数，完全摆脱硬编码：

def DataUpload(request):
    # ... 其他前置逻辑
    df_rawdata = pd.read_csv(csv_file, sep='')

    # 定义CSV列名 -> 模型字段名的映射
    field_mapping = {
        'emotion_grp': 'emotion_grp_id',
        'emotion_sub_group': 'emotion_sub_group'
    }

    # 批量生成模型实例
    data = [
        EmotionSubGroup(**{field_mapping[col]: row[col] for col in field_mapping})
        for index, row in df_rawdata.iterrows()
    ]

    EmotionSubGroup.objects.bulk_create(data)

方法2：直接匹配字段名（列名与模型字段名完全一致时） #

如果CSV列名和需要导入的模型字段名完全对应，可以直接提取目标字段生成实例：

def DataUpload(request):
    # ... 其他前置逻辑
    df_rawdata = pd.read_csv(csv_file, sep='')

    # 指定需要导入的模型字段列表
    target_fields = ['emotion_grp_id', 'emotion_sub_group']

    data = [
        EmotionSubGroup(**{k: row[k] for k in target_fields})
        for index, row in df_rawdata.iterrows()
    ]

    EmotionSubGroup.objects.bulk_create(data)

方法3：封装通用函数（支持任意模型批量导入） #

如果需要适配多个模型的批量上传需求，可以封装一个通用函数，复用性更强：

def bulk_create_from_dataframe(model_class, dataframe, field_mapping=None):
    if not field_mapping:
        # 默认自动匹配列名与模型字段（排除自增主键等自动生成字段）
        model_field_names = [field.name for field in model_class._meta.fields if not field.auto_created]
        field_mapping = {col: col for col in dataframe.columns if col in model_field_names}
    
    # 生成模型实例列表
    data = [
        model_class(**{field_mapping[col]: row[col] for col in field_mapping})
        for index, row in dataframe.iterrows()
    ]
    return model_class.objects.bulk_create(data)

# 调用示例
def DataUpload(request):
    # ... 其他前置逻辑
    df_rawdata = pd.read_csv(csv_file, sep='')
    field_mapping = {'emotion_grp': 'emotion_grp_id', 'emotion_sub_group': 'emotion_sub_group'}
    bulk_create_from_dataframe(EmotionSubGroup, df_rawdata, field_mapping)

注意事项 #

• 外键字段传入主键值时，要确保对应的关联模型实例（比如EmotionGroup）已经存在，否则会抛出数据库异常
• 如果CSV数据量极大，建议分批次执行bulk_create（比如每1000条一批），避免内存占用过高

内容的提问来源于stack exchange，提问作者wsrt