django-import-export自定义存储无法对接MinIO问题求助

问题场景 #

配置django-import-export将后台导入的临时文件存储到MinIO桶，但进入导入确认步骤后，MinIO中无文件生成。默认服务器存储可正常生成临时文件，且通过Postman验证MinIO的上传下载功能正常。使用的库版本：

boto3==1.34.131
Django==4.2.11
django-storages==1.14.3
django-import-export==4.0.8

当前配置：

IMPORT_EXPORT_TMP_STORAGE_CLASS = "import_export.tmp_storages.MediaStorage"

STORAGES = {
    "default": {
        "BACKEND": "django.core.files.storage.FileSystemStorage",
    },
    "staticfiles": {
        "BACKEND": "django.contrib.staticfiles.storage.ManifestStaticFilesStorage",
    },
    "import_export": {
        "BACKEND": "storages.backends.s3.S3Storage",
        "OPTIONS": {
            "bucket_name": os.getenv("PORTAL_S3_BUCKET_NAME"),
            "region_name": os.getenv("PORTAL_S3_REGION_NAME"),
            "access_key": os.getenv("PORTAL_S3_ACCESS_KEY"),
            "secret_key": os.getenv("PORTAL_S3_SECRET_KEY"),
            "endpoint_url": os.getenv("PORTAL_S3_ENDPOINT_URL"),
        },
    },
}

排查与解决方向 #

1. 自定义临时存储类，关联指定的MinIO存储配置 #

import_export.tmp_storages.MediaStorage默认使用Django的DEFAULT_FILE_STORAGE，而非你定义的import_export存储键。需自定义存储类明确指定目标存储：

# 项目目录下创建 storages.py
from import_export.tmp_storages import BaseStorage
from django.core.files.storage import get_storage_class

class MinIOTmpStorage(BaseStorage):
    def __init__(self):
        self.storage = get_storage_class("import_export")()

    def save(self, name, content):
        return self.storage.save(name, content)

    def path(self, name):
        return self.storage.path(name) if hasattr(self.storage, 'path') else name

    def delete(self, name):
        self.storage.delete(name)

    def exists(self, name):
        return self.storage.exists(name)

    def url(self, name):
        return self.storage.url(name)

修改配置指向自定义类：

IMPORT_EXPORT_TMP_STORAGE_CLASS = "your_project.storages.MinIOTmpStorage"

2. 优化django-storages的MinIO适配配置 #

MinIO作为S3兼容存储，需补充适配参数：

"import_export": {
    "BACKEND": "storages.backends.s3.S3Storage",
    "OPTIONS": {
        "bucket_name": os.getenv("PORTAL_S3_BUCKET_NAME"),
        "region_name": os.getenv("PORTAL_S3_REGION_NAME") or 'us-east-1',
        "access_key": os.getenv("PORTAL_S3_ACCESS_KEY"),
        "secret_key": os.getenv("PORTAL_S3_SECRET_KEY"),
        "endpoint_url": os.getenv("PORTAL_S3_ENDPOINT_URL"),
        "is_secure": True,  # 根据实际协议调整True/False
        "signature_version": "s3v4",
    },
},

3. 添加日志跟踪存储操作 #

在settings.py中配置日志，查看存储调用细节：

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
    },
    'loggers': {
        'storages': {
            'handlers': ['console'],
            'level': 'DEBUG',
            'propagate': True,
        },
        'import_export': {
            'handlers': ['console'],
            'level': 'DEBUG',
            'propagate': True,
        },
    },
}

执行导入操作后，检查控制台日志是否有存储相关的错误或调用记录。

4. 确认临时文件生命周期 #

排查MinIO是否配置了自动删除对象的生命周期规则，同时检查自定义存储类的delete方法是否被提前触发。

内容的提问来源于stack exchange，提问作者ferran