如何在Django中预处理保存到FileField的CSV文件内容？

疑问1解答 #

调用update_file_contents方法时，文件还没有保存到你配置的最终存储路径，小文件默认完全处于内存中，超过Django配置阈值（默认2.5MB）的大文件会暂存到系统临时目录，始终不会提前写入upload_to指定的业务存储路径。

疑问2解答 #

不需要放弃自定义FileField的方案。这个方案复用性更强，不需要在每个用到该字段的模型中重复编写处理逻辑。反而如果改为重写模型save方法，你需要额外处理文件路径读取、修改后重新关联字段、旧文件清理等冗余逻辑，实现成本更高。

可用实现示例 #

你可以参考如下代码完善update_file_contents方法，完成CSV行过滤逻辑：

import csv
from django.core.files.base import ContentFile

class CustomFileField(models.FileField):
    def pre_save(self, model_instance, add):
        file_field = super().pre_save(model_instance, add)
        # 只有新增/更新文件的时候才处理，避免每次保存模型都重复处理已存的文件
        if file_field and not file_field._committed:
            file_field = self.update_file_contents(file_field)
        return file_field

    def update_file_contents(self, file_field):
        file_field.open('rb')
        filtered_content = []
        # 按行迭代处理，大小文件都兼容
        for line_num, line in enumerate(file_field):
            # 这里替换为你自己的过滤规则，示例是跳过第2、3行（行号从0开始计数）
            if line_num not in (1, 2):
                filtered_content.append(line)
        file_field.close()
        # 生成新的文件对象，保留原文件名
        new_file = ContentFile(b''.join(filtered_content), name=file_field.name)
        return new_file

# 业务模型无需修改
class MyModel(models.Model):
    my_csv_file = CustomFileField(upload_to='results/%Y/%m/%d/')

注意事项 #

• 新增的_committed状态判断，可以避免每次更新模型其他字段时，重复处理已经存储过的文件
• 如果你使用的CSV编码不是UTF-8，需要对应调整解码、编码逻辑
• 如果过滤后需要调整CSV的格式、分隔符等规则，可以引入csv模块的reader、writer做标准化处理

内容的提问来源于stack exchange，提问作者John