使用Python dbfread库读取DBF文件时单个300MB文件因非ASCII字符报错

报错的核心原因是：dbfread默认使用ASCII编码解析文件，但你的300MB DBF包含非ASCII字符（如报错里的0xac字节），而DOS Borland dBase格式的文件通常采用**CP850（DOS Latin-1）**编码，部分旧文件也可能用CP1252或CP437。

解决方案： #

1. 指定正确的编码
   在初始化DBF对象时，通过encoding参数明确指定Borland DBF对应的编码，优先尝试cp850：

   records = list(DBF(self.dbf_file_path, encoding='cp850'))[-num:]
   

   如果cp850仍报错，可依次尝试cp1252或cp437。

2. 添加解码错误处理（可选）
   若文件存在少量无法用指定编码解析的字符，可通过char_decode_errors参数避免程序崩溃，比如用replace将无法解码的字符替换为占位符，或用ignore直接忽略：

   records = list(DBF(self.dbf_file_path, encoding='cp850', char_decode_errors='replace'))[-num:]
   

修改后的完整代码： #

from dbfread import DBF

def load_data_from_dbf(self, num=10000):
    # 指定Borland DBF编码并添加错误处理
    records = list(DBF(self.dbf_file_path, encoding='cp850', char_decode_errors='replace'))[-num:]
    with self.data_lock:
        self.df = pd.DataFrame(records)
        self.index1DF = self.df.set_index([self.indexf[0]])
        if len(self.indexf) > 1:
            self.index2DF = self.df.set_index([self.indexf[1]])

额外技巧：检测文件编码 #

如果不确定文件的具体编码，可使用chardet库检测文件头部的编码信息：

import chardet

with open(self.dbf_file_path, 'rb') as f:
    raw_data = f.read(1024)  # 读取文件前1KB内容
    detected_encoding = chardet.detect(raw_data)['encoding']
    print(f"检测到的编码：{detected_encoding}")

内容的提问来源于stack exchange，提问作者Sam Marvasti