如何在Pandas中读取含特殊字符的数据集并自动检测编码

数据老陈

2026-7-18

解决文本文件编码自动检测并正确读取的问题

要自动检测文件编码并正确读取这个数据集，你可以用以下几种实用方法：

方法1：用chardet库检测编码

chardet是Python常用的编码检测库，能通过分析字节内容判断编码类型。

步骤：

先安装chardet：

pip install chardet

编写代码检测并读取文件：

import pandas as pd
import chardet
import requests

url = "https://data.opensanctions.org/datasets/20230620/default/names.txt"

# 读取文件前10KB的字节内容（足够编码检测）
response = requests.get(url, stream=True)
raw_bytes = response.raw.read(10000)

# 检测编码
detect_result = chardet.detect(raw_bytes)
encoding = detect_result['encoding']
confidence = detect_result['confidence']
print(f"检测到编码: {encoding}, 置信度: {confidence}")

# 用检测出的编码读取文件
df = pd.read_csv(url, encoding=encoding, nrows=2, header=None)
print(df)

方法2：用cchardet提升检测速度

如果数据集很大，cchardet是chardet的C语言实现，速度更快，用法和chardet几乎一致：

安装：

pip install cchardet

代码只需把import chardet换成import cchardet as chardet即可。

方法3：用ftfy修复已乱码的内容

如果已经用错误编码读取了文件（比如你之前用latin1得到的乱码），可以用ftfy库直接修复乱码文本：

安装：

pip install ftfy

修复代码：

import pandas as pd
import ftfy

url = "https://data.opensanctions.org/datasets/20230620/default/names.txt"

# 先以latin1读取（避免解码报错），再修复乱码
df = pd.read_csv(url, encoding='latin1', nrows=2, header=None)
df[0] = df[0].apply(ftfy.fix_text)
print(df)