Weka JSONLoader使用示例求助及JSON数据加载报错排查

一、先解决你的加载报错问题 #

从你的报错日志和数据样例来看，核心问题是JSON格式不符合Weka JSONLoader的解析要求——你的category字段是数组类型，而Weka无法直接将数组作为监督学习的类标签属性，这引发了语法解析失败的报错。

修复步骤： #

1. 调整JSON数据格式：将每个样本的category从数组改为字符串类型（因为监督学习的类标签需要是单个离散值）。修改后的数据样例如下：

[ 
  { 
    "id": 8.7361726140328e+17, 
    "text": "The Joki's on you! Unless you take advantage of 25% off Scarlet Court Chests - on sale now! https://t.co/vc1ttPxJWm", 
    "category": "dont_care" 
  }, 
  { 
    "id": 8.7329941695388e+17, 
    "text": "Don't be a drag - dress like a queen! Scarlet Court Chest Rolls are 25% off! https://t.co/O0Ig5bEZdD", 
    "category": "dont_care" 
  }, 
  { 
    "id": 8.7328034547452e+17, 
    "text": "Join @Inukii and @MezmoreyezTV for Top 5 Console Plays! https://t.co/3JmreXSTWp", 
    "category": "dont_care" 
  } 
]

2. 验证JSON语法有效性：确保修改后的JSON没有语法错误（比如多余的逗号、未闭合的引号），可以用本地编辑器的JSON校验插件确认，语法错误也是常见的解析失败诱因。

二、Weka JSONLoader 完整使用示例 #

以下是在Weka Knowledge Explorer GUI中搭建文本分类流程的分步指南：

1. 配置JSONLoader #

• 打开Weka Knowledge Explorer，切换到Flow标签页。
• 从左侧步骤面板的「Data Sources」中拖拽JSONLoader到画布。
• 右键点击JSONLoader选择「Configure」：
  • 在「File」选项中选择修正后的JSON数据文件。
  • 确认「JSON structure」设置为Array of objects（匹配你的对象数组格式）。
  • 点击「OK」保存配置。

2. 过滤冗余属性（仅保留text） #

因为你只需要用text作为特征，需要移除id等无关属性：

• 从左侧「Filters」面板拖拽Remove过滤器到画布，连接JSONLoader的输出到Remove的输入。
• 右键点击Remove选择「Configure」：
  • 在「Attribute indices」中输入1,3（假设id是第1列、category是第3列，可先预览数据确认索引）；或者直接输入属性名id,category，勾选「Invert selection」来仅保留text，操作更直观。
  • 点击「OK」。

3. 文本向量化 #

文本需要转换成数值特征才能用于分类模型：

• 从「Filters」面板拖拽StringToWordVector到画布，连接Remove的输出到它的输入。
• 右键点击StringToWordVector选择「Configure」：
  • 可根据需求调整参数，比如勾选「TF-IDF」来提升特征权重，或者设置停用词过滤规则。
  • 点击「OK」。

4. 指定类标签 #

• 从「Filters」面板拖拽SetClass步骤到画布，连接JSONLoader的输出（或过滤后的输出）到它的输入。
• 右键点击SetClass选择「Configure」，选择category作为类属性。

5. 添加分类器并运行评估 #

• 从「Classifiers」面板选择你需要的分类器（比如J48决策树、NaiveBayes朴素贝叶斯），拖拽到画布，连接StringToWordVector的输出到分类器的输入。
• 拖拽ClassAssigner和Evaluation步骤到画布，依次连接分类器→ClassAssigner→Evaluation。
• 右键点击Evaluation选择「Run」，即可启动模型训练与评估流程。

三、额外注意事项 #

• Weka的JSONLoader仅支持标准的JSON对象数组格式，不支持嵌套复杂结构（比如原始的category数组），所有属性需为标量类型（字符串、数字、布尔值）。
• 如果text字段包含特殊字符，确保JSON中的转义格式正确（你的URL转义是符合要求的）。

内容的提问来源于stack exchange，提问作者James T.