Python读取Crackstation字典txt文件遇UnicodeDecodeError问题求助

问题根源 #

你遇到的UnicodeDecodeError是因为Crackstation的字典文件不是UTF-8编码，而Python的open()默认用UTF-8解码，导致无法识别某些字节。和文件格式是txt还是csv无关，txt完全可以正常使用。

解决方案 #

1. 先检测字典文件的编码

用chardet库自动识别文件编码：

• 先安装chardet：

  pip install chardet
  

• 检测编码的代码：

  import chardet
  
  with open(pass_doc, 'rb') as f:
      encoding_info = chardet.detect(f.read())
  print(f"检测到的编码：{encoding_info['encoding']}")
  

2. 用正确编码打开文件

拿到编码后，打开文件时指定该编码：

# 比如检测到编码是latin-1，就这么写
with open(pass_doc, 'r', encoding='latin-1') as pass_file:
    password_list = [line.strip() for line in pass_file]

Crackstation的字典常用latin-1（也叫iso-8859-1）编码，你可以直接尝试用这个编码打开，大概率能解决问题。

3. 临时跳过错误（不推荐）

如果不想检测编码，也可以用errors='ignore'参数跳过解码错误的字节，但可能会丢失部分密码数据：

with open(pass_doc, 'r', errors='ignore') as pass_file:
    password_list = [line.strip() for line in pass_file]

额外说明 #

• 不需要把txt转成csv，txt格式完全满足字典攻击的需求。
• 你提到的load_text()如果是第三方库的方法，大概率也是默认用UTF-8解码，所以同样会触发错误，不如直接用open()指定编码更可靠。

内容的提问来源于stack exchange，提问作者jedd