Weka导入库尔德语文本经StringtoWordvector过滤后转为符号问题

根因说明 #

乱码由字符集不兼容、分词器规则不匹配两类问题导致，可按以下步骤逐一修复： #

1. 强制Weka以UTF-8编码启动 #

库尔德语字符属于Unicode字符集，默认Weka会跟随操作系统默认编码加载资源，非UTF-8编码下无法正常识别库尔德语字符：

• Windows系统：找到Weka安装目录下的RunWeka.ini配置文件，定位到javaOpts参数行，追加-Dfile.encoding=UTF-8参数，修改后示例如下：

  javaOpts=-Xmx1024m -Dfile.encoding=UTF-8
  

• Mac/Linux系统：终端启动Weka时携带编码参数：

  java -Dfile.encoding=UTF-8 -jar /你的Weka安装路径/weka.jar
  

2. 导入文件时指定UTF-8编码 #

导入.arff文件或纯文本语料时，在文件选择弹窗的编码下拉菜单手动选择UTF-8，不要使用默认的「系统默认编码」选项。
如果你的源文件本身不是UTF-8编码，先通过VS Code、Notepad++等文本编辑器转存为UTF-8格式后再导入。

3. 适配StringToWordVector分词规则 #

默认的分词器会把非拉丁字符判定为非法分隔符，导致字符被拆分显示为乱码：

1. 打开StringToWordVector过滤器的参数设置面板
2. 找到wordTokenizer配置项，选择weka.core.tokenizers.WordTokenizer后点击右侧参数按钮
3. 修改delimiters（分词分隔符）配置，删除默认规则里的非阿拉伯语系特殊字符，仅保留库尔德语常用标点、空格作为分隔符
4. 可选：安装Weka官方的阿拉伯语分词扩展包，库尔德语和阿拉伯语字符结构、书写规则相似度高，分词规则适配度可达90%以上

4. 兜底排查 #

如果调整后仍有乱码，检查你的.arff文件头定义，存储文本的属性必须明确声明为@attribute text string，不要使用其他字符类型。 #

内容的提问来源于stack exchange，提问作者user3100876