Python解析GENIA语料XML时如何获取完整句子与cons标签文本
GENIA语料XML解析异常修复方案
异常根因定位
你之前直接提取元素.text属性的实现逻辑,完全不匹配GENIA语料的XML嵌套结构:
ElementTree 库中,单个节点的.text属性仅存储该节点起始标签之后、第一个子节点之前的纯文本片段,既不会自动拼接所有嵌套子节点内部的文本内容,也不会捕获节点的.tail属性(即子节点结束标签之后、当前节点结束标签之前的文本内容)。
而 GENIA 语料的<sentence>、<cons>标签本身就是典型的非叶子嵌套结构——标签内部会嵌入大量实体标注、其他层级的标注标签,根本不是直接包裹纯文本的节点。这种情况下直接读取.text,必然出现两类问题:
- 只要标签开头直接嵌套子节点,
.text就会返回None,导致列表混入大量无效空值 - 只能拿到片段化的零散文本,拼不出完整连贯的句子或实体内容
调整后的实现逻辑
1. 编写通用嵌套文本拼接工具
实现一个递归遍历的文本提取函数,遍历目标节点下的所有文本片段,完整拼接成连贯字符串,解决嵌套结构的文本提取问题:
import xml.etree.ElementTree as ET def extract_full_text(node): """递归拼接目标节点下所有可提取的纯文本""" content_parts = [] # 读取节点起始标签后的自带文本 if node.text: content_parts.append(node.text) # 遍历所有子节点 for child in node: # 递归取子节点内部的完整文本 content_parts.append(extract_full_text(child)) # 读取子节点结束后的相邻尾随文本 if child.tail: content_parts.append(child.tail) # 拼接所有片段后去掉首尾多余空白 return "".join(content_parts).strip()
2. 跨层级遍历提取目标内容
替换原来的列表推导式逻辑,跳过嵌套层级限制遍历所有目标标签,调用上述函数提取完整文本,同时过滤无效空值:
# 解析本地XML文档 tree = ET.parse("test.xml") root = tree.getroot() # 生成完整连贯的句子列表 sentence_list = [] for sent_node in root.iter("sentence"): full_text = extract_full_text(sent_node) # 过滤无实际内容的空节点 if full_text: sentence_list.append(full_text) # 生成非空的cons实体术语列表 term_list = [] for cons_node in root.iter("cons"): full_text = extract_full_text(cons_node) # 过滤空白、无文本的无效节点 if full_text: term_list.append(full_text)
实用注意事项
- 提取目标节点时不要使用
findall("sentence"),GENIA 语料的 XML 层级为corpus > article > abstract > sentence > cons,嵌套深度较大,用iter()方法可以跨所有层级搜索目标标签,不会漏取深层的标注内容。 - 上述递归提取逻辑可以兼容 cons 标签的嵌套结构(部分GENIA版本中 cons 内部会嵌套更细分的实体 cons 标签),不会出现文本断档、内容残缺的问题。
内容的提问来源于stack exchange,提问作者CuriousMan
相关产品推荐
相关产品推荐

