Django如何将上传文件夹内CSV文件编码转换为UTF-8

处理时机选择 #

推荐在遍历单个文件时做编码转换，原因如下：

• Django接收到的文件夹上传内容本质是散列的文件列表，不存在「整个文件夹级编码处理」的操作对象
• 单文件处理内存占用更低，出现编码错误时可以单独定位异常文件，不会影响整体上传流程
• 方便针对单个文件做异常兼容、错误日志记录

具体实现步骤 #

1. 安装编码检测依赖 #

我们需要先检测上传文件的原始编码，避免硬编码匹配导致的乱码问题，安装chardet库：

pip install chardet

2. 后端代码改造 #

import chardet
from io import BytesIO

def csv_retriever(request):
    if request.method == 'POST' and request.FILES.get('folder'):
        for file in request.FILES.getlist('folder'):
            # 过滤非CSV文件，避免无效处理
            if not file.name.lower().endswith('.csv'):
                continue
            
            # 读取文件原始二进制内容
            raw_content = file.read()
            # 检测原始编码
            detect_result = chardet.detect(raw_content)
            original_encoding = detect_result['encoding']
            
            # 编码转换为UTF-8
            try:
                # 兼容部分编码检测存在误差的场景，加errors参数容错
                content_utf8 = raw_content.decode(original_encoding, errors='replace').encode('utf-8')
            except (TypeError, UnicodeDecodeError):
                # 检测失败时 fallback 到常用编码尝试
                fallback_encodings = ['gbk', 'gb2312', 'utf-8-sig', 'latin1']
                for enc in fallback_encodings:
                    try:
                        content_utf8 = raw_content.decode(enc, errors='replace').encode('utf-8')
                        break
                    except UnicodeDecodeError:
                        continue
                else:
                    # 所有编码尝试都失败，可以记录错误日志后跳过该文件
                    print(f"文件{file.name}编码识别失败，已跳过")
                    continue
            
            # 封装为类文件对象传给后续处理逻辑
            utf8_file = BytesIO(content_utf8)
            utf8_file.name = file.name
            calculations(utf8_file)

    return render(request, 'price_calculator_started.html')

注意事项 #

• 如果你的calculations函数直接接收字符串内容，也可以省略转码后的编码步骤，直接传decode后的字符串即可
• 若上传文件体积普遍较大，可以把文件先写入临时磁盘再做转码处理，避免占用过多服务端内存
• 可以根据业务实际使用场景调整fallback编码列表，减少不必要的尝试

内容的提问来源于stack exchange，提问作者Matthias Hyldegaard Djernæs