将阿拉伯语NER数据集转为spaCy格式时遇Unicode解码错误

错误原因 #

你的阿拉伯语数据集文件不是UTF-8编码，错误提示中的byte 0xff in position 0是UTF-16编码的字节顺序标记（BOM），而spaCy默认以UTF-8编码读取文件，导致解码失败。

解决方案 #

方法1：命令行转码（适配Linux/macOS/Colab环境） #

先将原文件转成UTF-8编码：

iconv -f UTF-16LE -t UTF-8 /gdrive/MyDrive/LearningSpacy/SimpleNER-Dataset.txt > /gdrive/MyDrive/LearningSpacy/SimpleNER-Dataset-UTF8.txt

再用转码后的文件执行spaCy转换命令：

!python -m spacy convert -c iob -s -n 10 -b nlp /gdrive/MyDrive/LearningSpacy/SimpleNER-Dataset-UTF8.txt .

方法2：Python脚本转码 #

创建并运行以下脚本，将原文件转换为UTF-8编码：

input_file = "/gdrive/MyDrive/LearningSpacy/SimpleNER-Dataset.txt"
output_file = "/gdrive/MyDrive/LearningSpacy/SimpleNER-Dataset-UTF8.txt"

# 以UTF-16编码读取原文件
with open(input_file, "r", encoding="utf-16") as f:
    data = f.read()

# 以UTF-8编码写入新文件
with open(output_file, "w", encoding="utf-8") as f:
    f.write(data)

转换完成后，用新生成的文件执行你的spaCy转换命令即可。

方法3：文本编辑器转码 #

用VS Code、Notepad++等编辑器打开原文件，选择「另存为」，在编码选项中选择UTF-8，保存后再运行spaCy转换命令。

内容的提问来源于stack exchange，提问作者Reem