使用NLTK CategorizedPlaintextCorpusReader创建的自定义语料库Unicode解码失败求助

我之前处理混合编码的语料库时也踩过这个坑，NLTK的纯文本阅读器对编码的兼容性确实需要手动调整，结合你的Python3.6.4环境，给你几个实用的解决方案：

• 指定编码并设置错误兜底策略
  直接在初始化CategorizedPlaintextCorpusReader时明确文件编码，同时通过errors参数处理无法解码的特殊字符。比如不确定编码时可以先尝试utf-8，再用错误忽略兜底：

  from nltk.corpus.reader import CategorizedPlaintextCorpusReader
  
  reader = CategorizedPlaintextCorpusReader(
      root='你的语料库根路径',
      file_pattern=r'.*\.txt',
      cat_pattern=r'(\w+)/.*',  # 根据你的语料分类结构调整，比如按文件夹划分类别
      encoding='utf-8',  # 先尝试utf-8，不行可替换为gbk、gb2312等
      errors='ignore'  # 可选值：'ignore'跳过错误字符，'replace'替换为�
  )
  

  原理是CategorizedPlaintextCorpusReader继承自PlaintextCorpusReader，后者默认编码可能和你的文件不匹配，显式指定编码能解决大部分问题，errors参数则能处理那些编码异常的字符。

• 先检测文件的实际编码
  如果你不确定文件用的是什么编码，可以用chardet库先检测单个问题文件的编码：

  import chardet
  
  # 针对单个问题文件检测编码
  with open('路径/到/有问题的文件.txt', 'rb') as f:
      raw_data = f.read()
      encoding_result = chardet.detect(raw_data)
      print(f"检测到的编码：{encoding_result['encoding']}，置信度：{encoding_result['confidence']}")
  

  安装chardet的命令是：pip install chardet。把检测到的编码填入阅读器的encoding参数即可。

• 自定义阅读器实现多编码兼容
  如果你的语料库混合了多种编码的文件，上面的方法不够灵活，这时可以自定义一个阅读器，自动尝试多种编码解码：

  from nltk.corpus.reader import CategorizedPlaintextCorpusReader
  
  class MultiEncodingCategorizedReader(CategorizedPlaintextCorpusReader):
      def read_file(self, file_path):
          with open(file_path, 'rb') as f:
              raw_bytes = f.read()
          # 依次尝试常用编码，最后用ignore兜底
          for encoding in ['utf-8', 'gbk', 'gb2312', 'latin-1']:
              try:
                  return raw_bytes.decode(encoding)
              except UnicodeDecodeError:
                  continue
          # 所有编码都失败时，用utf-8忽略错误
          return raw_bytes.decode('utf-8', errors='ignore')
  
  # 使用自定义阅读器
  reader = MultiEncodingCategorizedReader(
      root='你的语料库根路径',
      file_pattern=r'.*\.txt',
      cat_pattern=r'(\w+)/.*'
  )
  

  这种方法会自动为每个文件尝试多种编码，最大程度避免解码错误。

另外，Python3.6.4对errors参数的支持是完整的，不用担心兼容性问题。如果还是有个别顽固文件报错，可以单独手动转码后再加入语料库。

内容的提问来源于stack exchange，提问作者Yunter