使用XPath选取带指定属性的XML元素返回空列表问题排查

问题场景 #

处理OAI接口返回的固定结构文献元数据XML，结构规则如下：

• 根节点为<record>，下设<header>、<metadata>子节点
• <header>节点包含identifier、datestamp、setspec子节点
• <metadata>下绑定多命名空间的dc节点，包含dc:title、dc:creator、dc:publisher、dc:date、dc:identifier等都柏林核心元数据节点
• dc:identifier节点通过xsi:type属性区分URN、URL、dnb:IDN等不同类型的标识值

测试中出现的异常现象：

• 无路径、无属性筛选的普通节点可正常提取，加入XPath层级路径或xsi:type属性筛选条件后返回空列表
• 执行urn = xml.find_all('.//dc:identifier[@xsi:type="tel:URN"]', namespaces=ns)返回空列表
• 执行urn = xml.find_all('.//dc:identifier', namespaces=ns)返回空列表
• 直接执行test1 = xml.find_all("dc:identifier")可正常返回所有dc:identifier元素列表，但无法筛选xsi:type为tel:URN的目标节点
• 执行urn = xml.find_all('dc:identifier[@xsi:type="tel:URN"]', namespaces=ns)依旧返回空列表
• 先后使用BeautifulSoup、ElementTree、lxml解析requests获取的接口响应内容，均存在上述问题

核心成因 #

• 命名空间映射配置缺失或不匹配：XML中带前缀的节点、带前缀的属性（包括dc:前缀节点、xsi:type属性），在启用XPath/严格命名空间匹配时，必须传入和XML文档内声明完全一致的命名空间映射字典，任意前缀的映射URL错误、缺失都会导致匹配失败。
• 解析模式错误：直接调用find_all("dc:identifier")能返回结果，是因为部分解析库默认使用HTML解析模式，会把带冒号的标签名当做普通字符串匹配，不会走严格命名空间校验逻辑；一旦传入namespaces参数启用严格匹配、或加入属性筛选条件，就会因为映射规则不匹配返回空结果。
• 属性前缀未展开：ElementTree等部分解析库不支持在XPath属性筛选中直接写前缀，需要将带前缀的属性名展开为{命名空间URL}属性名的完整格式才能匹配。

可行解决步骤 #

1. 先从返回的XML原文中提取所有声明的命名空间，构造完整的映射字典，所有URL必须和XML中xmlns:*属性的取值完全一致，参考示例：

ns = {
    "dc": "http://purl.org/dc/elements/1.1/", # 都柏林核心dc前缀对应命名空间
    "xsi": "http://www.w3.org/2001/XMLSchema-instance", # xsi前缀固定命名空间
    "oai": "http://www.openarchives.org/OAI/2.0/", # OAI接口根节点命名空间，按实际返回值修改
    "dnb": "http://d-nb.de/standards/dnbterms/", # dnb前缀按实际返回值补全
    "tel": "http://krait.kb.nl/coop/tel/handbook/telterms.html" # tel前缀对应命名空间
}

2. 根据使用的解析库选择对应正确写法：

方案1：使用lxml（XPath支持最完善，优先推荐） #

import requests
from lxml import etree

resp = requests.get("你的OAI接口地址")
xml_root = etree.fromstring(resp.content)
# 直接写标准XPath即可，所有前缀在ns字典中有对应映射
urn_nodes = xml_root.xpath('//dc:identifier[@xsi:type="tel:URN"]', namespaces=ns)
# 提取节点文本
urn_list = [node.text for node in urn_nodes if node.text]

方案2：使用BeautifulSoup #

必须指定XML解析器，不要用默认的HTML解析器，避免命名空间匹配逻辑异常：

from bs4 import BeautifulSoup

# 第二个参数指定xml解析模式
soup = BeautifulSoup(resp.content, "xml")
# 直接通过attrs参数筛选属性
urn_nodes = soup.find_all("dc:identifier", attrs={"xsi:type": "tel:URN"})
urn_list = [node.get_text(strip=True) for node in urn_nodes]

方案3：使用xml.etree.ElementTree #

ElementTree不支持XPath中直接写带前缀的属性，需要将属性名展开为完整命名空间格式：

import xml.etree.ElementTree as ET

root = ET.fromstring(resp.content)
# 把xsi:type展开为带命名空间URL的完整属性名
xsi_type_attr = f"{{{ns['xsi']}}}type"
urn_nodes = root.findall(f'.//dc:identifier[@{xsi_type_attr}="tel:URN"]', namespaces=ns)
urn_list = [node.text.strip() for node in urn_nodes if node.text]

排查提示：如果上述写法仍匹配不到结果，先打印单个dc:identifier节点的完整标签名、所有属性的键值，确认命名空间URL、属性取值和你写的筛选规则完全一致，不要凭记忆填写命名空间URL。

内容的提问来源于stack exchange，提问作者ssp24