如何合并两个XPath,提取带/不带a标签场景下的组织名称文本?
XPath路径合并方案
完全可以将两个路径合并,以下是不同适配场景的实现方法:
通用兼容版本(支持XPath 1.0,lxml、Scrapy等主流爬虫框架均适配)
通过XPath的并集运算符|拼接两个目标路径即可,合并后代码如下://li[@itemprop="worksFor"]/span/div/a/text() | //li[@itemprop="worksFor"]/span/div/text()
该写法会同时匹配div下的直接文本和嵌套在a标签内的文本,两类场景都能覆盖。
精简版本(支持XPath 2.0及以上)
如果所用工具支持XPath 2.0,可以使用更简洁的写法实现同等效果://li[@itemprop="worksFor"]/span/div/(text()|a/text())
优化版本(自动过滤空白内容)
如果爬取时返回结果包含多余的空白换行,可以增加过滤规则直接提取有效文本://li[@itemprop="worksFor"]/span/div/descendant::text()[normalize-space(.)!='']
匹配效果
- 带a标签的场景:正常提取a标签内的文本,输出@HackSoftware
- 不带a标签的场景:正常提取div下的直接文本,输出The Standard Insurance
内容的提问来源于stack exchange,提问作者Joey Coder
相关产品推荐
相关产品推荐

