如何让XPath在指定DAB Ensemble的h1元素或EOF处停止爬取？

修改后的XPath表达式 #

要限制搜索范围在目标Ensemble区块内（即当前h1到下一个h1之间），可以使用以下XPath表达式：

f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::*[count(preceding-sibling::h1[starts-with(text(), "Description of DAB Ensemble")]) = 1]/div[@id="announcement_data_block"]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table[1]'

表达式逻辑说明 #

1. 定位目标区块起点：先找到对应ens_idx的h1标签，作为当前Ensemble区块的起点。
2. 限制搜索范围：通过count(preceding-sibling::h1[starts-with(text(), "Description of DAB Ensemble")]) = 1，确保只在目标h1之后、下一个Ensemble的h1之前的节点中搜索——这些节点的前面只有一个符合格式的h1（即目标节点），自然排除了后续区块的内容。
3. 定位目标内容：在限定范围内找到id="announcement_data_block"的div，再定位到开头为"Announcement switching"的h4，最后取其紧邻的第一个table。

Python代码示例 #

from lxml import html

# 假设你已加载HTML内容到html_content变量
tree = html.fromstring(html_content)
ens_idx = 1  # 替换为你要查询的Ensemble编号

# 构造XPath表达式
xpath_expr = f'//h1[text()="Description of DAB Ensemble {ens_idx}"]/following-sibling::*[count(preceding-sibling::h1[starts-with(text(), "Description of DAB Ensemble")]) = 1]/div[@id="announcement_data_block"]/h4[starts-with(text(), "Announcement switching")]/following-sibling::table[1]'

# 执行查询并处理结果
target_table = tree.xpath(xpath_expr)[0] if tree.xpath(xpath_expr) else None

当目标Ensemble区块内没有匹配的表格时，tree.xpath()会返回空列表，最终target_table为None，完全符合需求。

内容的提问来源于stack exchange，提问作者David Chung