Python加载CSV数据集时遇UnicodeDecodeError的问题咨询

问题原因 #

你遇到的UnicodeDecodeError是因为CSV文件的编码格式不是pandas默认的utf-8。错误中的0xa0字节在utf-8编码规则里属于无效的起始字节，这个字节常见于cp1252（Windows常用编码）、latin-1等单字节编码中，代表不间断空格（non-breaking space）。

解决方法 #

1. 指定匹配的编码参数 #

直接尝试常见的非utf-8编码，比如：

• 尝试cp1252编码：

import pandas as pd
df = pd.read_csv('your_dataset.csv', encoding='cp1252')

• 尝试latin-1编码（单字节编码，不会丢失字节，适合不确定编码时临时读取）：

df = pd.read_csv('your_dataset.csv', encoding='latin-1')

• 如果是中文数据集，可尝试gbk或gb2312编码：

df = pd.read_csv('your_dataset.csv', encoding='gbk')

2. 自动检测文件编码 #

使用chardet或cchardet库自动识别文件编码：

1. 先安装库：

pip install chardet

2. 检测编码并读取：

import chardet
import pandas as pd

# 读取文件前几个字节检测编码
with open('your_dataset.csv', 'rb') as f:
    result = chardet.detect(f.read(10000))  # 读取前10000字节足够检测

# 用检测到的编码读取文件
df = pd.read_csv('your_dataset.csv', encoding=result['encoding'])

3. 忽略错误（不推荐） #

如果允许丢失少量字符，可添加errors='ignore'参数跳过解码错误，但会导致对应位置的字符丢失，仅作为临时应急方案：

df = pd.read_csv('your_dataset.csv', errors='ignore')

4. 手动转换文件编码 #

用文本编辑器（如Notepad++）打开CSV文件，选择「编码」→「转为UTF-8编码」，保存后再用pandas默认的utf-8编码读取。

内容的提问来源于stack exchange，提问作者Jfel