Django中兼容UTF-8与ASCII/cp1252编码的CSV上传问题解决

这个问题是典型的多编码CSV兼容场景，咱们可以通过自动检测文件编码或者依次尝试常用编码的方式来解决，同时处理CSV里的特殊引号问题，确保两个文件都能正常解析且无乱码。

方案1：自动检测文件编码（推荐） #

借助chardet库自动识别文件编码，不管是UTF-8还是cp1252/ASCII都能精准适配，不用手动判断。

操作步骤： #

1. 先安装依赖库：

pip install chardet

2. 修改Forms.py中的clean_csv_file方法：

import chardet
import csv

class CsvUpload(forms.Form):
    csv_file = forms.FileField()
    def clean_csv_file(self):
        value = self.cleaned_data['csv_file']
        if not value.name.endswith('.csv'):
            raise forms.ValidationError('Invalid file type')
        
        try:
            # 读取文件内容并检测编码
            file_content = value.file.read()
            encoding_result = chardet.detect(file_content)
            target_encoding = encoding_result['encoding']
            
            # 重置文件指针到开头（因为read()会把指针移到末尾）
            value.file.seek(0)
            
            # 用检测到的编码读取CSV，同时处理引号嵌套问题
            data = pd.read_csv(
                value.file, 
                encoding=target_encoding, 
                engine='python',
                quotechar='"',  # 指定双引号为内容引用符
                quoting=csv.QUOTE_ALL,  # 解析所有被引号包裹的内容
                escapechar='\\'  # 处理可能存在的转义字符
            )
            
            data.columns = data.columns.str.strip().str.lower()
            data = data.rename(columns={'test case id':'Test Case ID'})
        except Exception as e:
            print('Error while parsing CSV file=> %s', e)
            raise forms.ValidationError('Failed to parse the CSV file')
        
        if 'summary' not in data or 'Test Case ID' not in data:
            raise forms.ValidationError(
                'CSV file must have "summary" column and "Test Case ID" column')
        return data

方案2：依次尝试多种编码（轻量无依赖） #

如果不想额外安装库，可以先尝试UTF-8读取，失败后切换为cp1252（ASCII是cp1252的子集，用cp1252可以兼容ASCII文件）。

修改后的核心代码片段：

import csv

class CsvUpload(forms.Form):
    csv_file = forms.FileField()
    def clean_csv_file(self):
        value = self.cleaned_data['csv_file']
        if not value.name.endswith('.csv'):
            raise forms.ValidationError('Invalid file type')
        
        data = None
        # 优先尝试UTF-8编码
        try:
            value.file.seek(0)
            data = pd.read_csv(
                value.file, 
                encoding="UTF-8", 
                engine='python',
                quotechar='"',
                quoting=csv.QUOTE_ALL
            )
        except UnicodeDecodeError:
            # UTF-8失败，尝试cp1252编码
            try:
                value.file.seek(0)
                data = pd.read_csv(
                    value.file, 
                    encoding="cp1252", 
                    engine='python',
                    quotechar='"',
                    quoting=csv.QUOTE_ALL
                )
            except Exception as e:
                print('Error while parsing CSV file=> %s', e)
                raise forms.ValidationError('Failed to parse the CSV file')
        except Exception as e:
            print('Error while parsing CSV file=> %s', e)
            raise forms.ValidationError('Failed to parse the CSV file')
        
        data.columns = data.columns.str.strip().str.lower()
        data = data.rename(columns={'test case id':'Test Case ID'})
        
        if 'summary' not in data or 'Test Case ID' not in data:
            raise forms.ValidationError(
                'CSV file must have "summary" column and "Test Case ID" column')
        return data

关键细节说明： #

• 编码适配：不再固定单一编码，而是根据文件实际编码动态调整，cp1252兼容ASCII，覆盖了你提到的两种编码场景。
• 引号处理：通过quotechar='"', quoting=csv.QUOTE_ALL配置，让pandas正确识别CSV-2中的嵌套双引号内容，避免解析错误。
• 文件指针重置：每次读取前调用value.file.seek(0)，确保从文件开头读取，避免因指针位置导致的读取异常。

这样修改后，两个CSV文件都能正常上传解析，不会出现乱码或无法读取的问题了。

内容的提问来源于stack exchange，提问作者Sahil Suri