AllenNLP中如何访问Instance字段取值以校验预处理结果

你通过instance.__getitem__("text")拿到的是对应类型的Field封装对象，不是原始Python值，AllenNLP本身没有提供直接取值的高层API，但是按照Field的统一实现规则，可以快速拿到你需要的原始值做对比验证。

核心取值逻辑 #

所有Field对象都存储在Instance内置的fields普通字典中，你不需要依赖__getitem__方法，直接通过字典键名就能拿到对应Field，和你之前拿到的对象完全一致，代码可读性更高。

不同类型的Field取实际值的方式是固定的，对应你做测试常用的场景：

• 针对存分词序列的TextField：直接读取其tokens属性，每个Token对象的.text字段就是分词后的原始文本，拼接后即可和原始输入对比：

  # 取出text字段的所有token文本
  text_tokens = [token.text for token in instance.fields["text"].tokens]
  assert text_tokens == training_dataset[0]["text"]
  

• 针对存标签的LabelField、SequenceLabelField：
  • 单值分类标签直接读取label属性即可拿到原始标签值
  • 序列标注标签（比如你用到的NER标签）直接读取labels属性，每个元素的.label字段就是对应位置的原始BIO标签值
• 兜底取值技巧：如果遇到不熟悉的Field类型，直接打印该Field对象的__dict__，就能看到它内部存储的所有原始成员变量，不需要翻源码就能快速定位到实际存储的值。

实现你需要的通用取值方法 #

你可以按照常用的Field类型封装一个通用取值函数，实现类似getValueFromField的断言逻辑：

def get_value_from_field(instance, field_name: str):
    target_field = instance.fields[field_name]
    # 适配文本字段
    if hasattr(target_field, "tokens"):
        return [token.text for token in target_field.tokens]
    # 适配序列标注字段
    if hasattr(target_field, "labels"):
        if isinstance(target_field.labels[0], list):
            return [[lab.label for lab in lab_seq] for lab_seq in target_field.labels]
        return [lab.label for lab in target_field.labels]
    # 适配单值标签字段
    if hasattr(target_field, "label") and not isinstance(target_field.label, list):
        return target_field.label
    # 兜底返回字段内部存的原始字典
    return target_field.__dict__

封装完成后，就可以直接写你预期的断言代码：

assert get_value_from_field(instance, "text") == training_dataset[0]["text"]
assert get_value_from_field(instance, "ner_tags") == training_dataset[0]["ner_tags"]

测试验证的避坑提示 #

• 不要将Field生成的数值化tensor值和原始输入对比，tensor是经过词表映射后的id序列，和原始文本/标签没有直接可比性，你需要取的是Field在转tensor之前存储的原始Python对象。
• 如果你的预处理流程包含截断、填充、大小写转换、特殊字符替换等操作，从TextField里取出来的值是经过这些处理后的内容，无法1:1匹配原始输入。最稳妥的验证方式是在DatasetReader读取原始数据时，加一个MetadataField字段存储未经过任何处理的原始值，测试时直接读取这个字段的metadata属性即可：

  # 在DatasetReader的_read方法中添加
  instance.add_field("original_input", MetadataField(original_raw_data))
  # 取值
  assert instance.fields["original_input"].metadata == raw_test_data
  

内容的提问来源于stack exchange，提问作者ignacioct