Label Studio标注导出异常及标注数据适配BERT模型咨询

一、解决JSON-MIN仅导出文件路径的问题 #

你的标注配置里<Text>组件使用了valueType="url"，这会让Label Studio仅存储文件路径而非文本内容。要导出包含文本的标注结果，需修改配置：

• 删除<Text>标签中的valueType="url"参数，导入本地文本文件时，默认会读取文本内容，无需指定url类型。
• 保留saveTextResult="yes"参数，这是让标注结果包含原文内容的关键。

修改后的核心配置片段：

<Text name="text" value="$text" saveTextResult="yes" granularity="word"/>

修改配置后重新导出JSON-MIN格式，即可在结果中看到完整文本内容。

二、标注数据适配BERT模型的方法 #

1. 并非只能使用IOB格式 #

IOB是命名实体识别（NER）任务的常用格式，但适配BERT的标注格式不止这一种：

• 若做NER任务，IOB2、BIOES等格式也能被BERT的训练脚本识别。
• 若做文本分类任务，直接使用[文本内容, 标签]的键值对格式即可，无需IOB。

2. 适配BERT的具体步骤 #

（1）数据转换

• NER任务场景：
  把Label Studio导出的标注结果（含文本、实体位置、标签）转换为BERT可读取的格式，比如每行是[单词, 标签]的IOB格式，用空行分隔不同样本。转换逻辑：遍历每个标注实体，对文本中的每个单词判断是否属于实体，对应赋予IOB标签（如实体开头为B-ILAC_ADI，中间为I-ILAC_ADI，非实体为O）。
• 文本分类任务场景：
  直接提取文本内容与对应标签，整理成{"text": "xxx", "label": "xxx"}的JSON数组格式即可。

（2）模型输入处理

使用Hugging Face的transformers库处理数据：

• 加载BERT tokenizer，对文本进行分词、添加[CLS]/[SEP]特殊标记、生成输入ID和注意力掩码。
• NER任务需注意：tokenizer的分词粒度可能与标注的单词粒度不一致，需将原标签映射到分词后的每个token上（如原单词被拆分为多个子token，这些子token可继承原单词的I-类标签）。

内容的提问来源于stack exchange，提问作者boozy