旧版Pandas如何忽略CSV文件的UnicodeDecodeError？

因为旧版Pandas（1.3之前）的read_csv不支持直接指定编码错误处理策略，你可以通过以下几种方式绕开这个限制：

方法1：手动打开文件时指定错误处理，再传给Pandas #

直接用Python内置的open()函数打开文件，通过errors参数指定无效字节的处理方式（'replace'会把无效字节换成�，'ignore'直接跳过），然后把文件对象传给pd.read_csv()。这种方法无需加载整个文件到内存，适合处理大型CSV：

import pandas as pd

# 用replace替换无效字节
with open('your_large_file.csv', 'r', encoding='utf-8', errors='replace') as f:
    df = pd.read_csv(f)

# 或者用ignore直接忽略无效字节
with open('your_large_file.csv', 'r', encoding='utf-8', errors='ignore') as f:
    df = pd.read_csv(f)

方法2：用codecs模块预处理文件（适合需额外文本处理的场景） #

如果需要对文件内容做额外预处理，可以用codecs.open()打开文件，同样指定errors参数，再通过StringIO把内容传给Pandas（大文件优先用方法1，避免全读入内存）：

import pandas as pd
import codecs
from io import StringIO

with codecs.open('your_large_file.csv', 'r', encoding='utf-8', errors='replace') as f:
    content = f.read()
df = pd.read_csv(StringIO(content))

方法3：先清理源文件中的无效UTF-8字节（适合需重复使用文件的场景） #

如果允许修改源文件，可以先写个小脚本清理掉无效字节，之后再用Pandas正常读取：

# 清理文件脚本
with open('input.csv', 'rb') as infile, open('cleaned_output.csv', 'wb') as outfile:
    for line in infile:
        try:
            # 尝试解码为UTF-8，无效字节替换
            decoded_line = line.decode('utf-8', errors='replace')
            outfile.write(decoded_line.encode('utf-8'))
        except Exception as e:
            # 极端情况跳过错误行（可选）
            print(f"Skipping line due to error: {e}")
            continue

# 之后用Pandas读取清理后的文件
df = pd.read_csv('cleaned_output.csv', encoding='utf-8')

注意：errors='replace'会保留错误位置的占位符，方便后续定位问题；errors='ignore'会直接删除无效字节，适合不需要保留错误位置的场景，可根据需求选择。

内容的提问来源于stack exchange，提问作者Leonard Niedermayer