You need to enable JavaScript to run this app. Python解析GENIA语料XML时如何获取完整句子与cons标签文本
优惠活动
大模型
产品
解决方案
定价
更多

Python解析GENIA语料XML时如何获取完整句子与cons标签文本

GENIA语料XML解析异常修复方案

异常根因定位

你之前直接提取元素.text属性的实现逻辑,完全不匹配GENIA语料的XML嵌套结构:
ElementTree 库中,单个节点的.text属性仅存储该节点起始标签之后、第一个子节点之前的纯文本片段,既不会自动拼接所有嵌套子节点内部的文本内容,也不会捕获节点的.tail属性(即子节点结束标签之后、当前节点结束标签之前的文本内容)。
而 GENIA 语料的<sentence>、<cons>标签本身就是典型的非叶子嵌套结构——标签内部会嵌入大量实体标注、其他层级的标注标签,根本不是直接包裹纯文本的节点。这种情况下直接读取.text,必然出现两类问题:

  • 只要标签开头直接嵌套子节点,.text就会返回None,导致列表混入大量无效空值
  • 只能拿到片段化的零散文本,拼不出完整连贯的句子或实体内容

调整后的实现逻辑

1. 编写通用嵌套文本拼接工具

实现一个递归遍历的文本提取函数,遍历目标节点下的所有文本片段,完整拼接成连贯字符串,解决嵌套结构的文本提取问题:

import xml.etree.ElementTree as ET

def extract_full_text(node):
    """递归拼接目标节点下所有可提取的纯文本"""
    content_parts = []
    # 读取节点起始标签后的自带文本
    if node.text:
        content_parts.append(node.text)
    # 遍历所有子节点
    for child in node:
        # 递归取子节点内部的完整文本
        content_parts.append(extract_full_text(child))
        # 读取子节点结束后的相邻尾随文本
        if child.tail:
            content_parts.append(child.tail)
    # 拼接所有片段后去掉首尾多余空白
    return "".join(content_parts).strip()

2. 跨层级遍历提取目标内容

替换原来的列表推导式逻辑,跳过嵌套层级限制遍历所有目标标签,调用上述函数提取完整文本,同时过滤无效空值:

# 解析本地XML文档
tree = ET.parse("test.xml")
root = tree.getroot()

# 生成完整连贯的句子列表
sentence_list = []
for sent_node in root.iter("sentence"):
    full_text = extract_full_text(sent_node)
    # 过滤无实际内容的空节点
    if full_text:
        sentence_list.append(full_text)

# 生成非空的cons实体术语列表
term_list = []
for cons_node in root.iter("cons"):
    full_text = extract_full_text(cons_node)
    # 过滤空白、无文本的无效节点
    if full_text:
        term_list.append(full_text)

实用注意事项

  • 提取目标节点时不要使用findall("sentence"),GENIA 语料的 XML 层级为corpus > article > abstract > sentence > cons,嵌套深度较大,用iter()方法可以跨所有层级搜索目标标签,不会漏取深层的标注内容。
  • 上述递归提取逻辑可以兼容 cons 标签的嵌套结构(部分GENIA版本中 cons 内部会嵌套更细分的实体 cons 标签),不会出现文本断档、内容残缺的问题。

内容的提问来源于stack exchange,提问作者CuriousMan

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 07:06:04