Scrapy中浏览器可运行的XPath表达式返回空列表如何排查

问题排查及解决思路 #

• 优先确认Scrapy实际获取到的HTML结构，不要以浏览器渲染后的DOM为准：浏览器会自动补全缺失的闭合标签、调整不规范的嵌套结构，和Scrapy用lxml解析得到的原始结构大概率存在差异，这是你遇到的最常见的原因。在Scrapy shell中执行 response.text 搜索目标列表项对应的上层标签，确认是否存在你XPath中写的section、div层级关系。
• 替换依赖固定层级的XPath，改用更稳定的特征定位：先找到岗位职责、任职要求对应的标题文本，再向下关联列表项。比如如果页面中存在「Job Responsibilities」这类明确的标题文本，可调整XPath为类似 //*[contains(text(), "Job Responsibilities")]/following-sibling::*//li，根据实际文本内容调整匹配规则即可，无需绑定固定的层级结构。
• 可以尝试用CSS选择器替代层级XPath：如果目标ul或者父节点存在可识别的类名、属性，直接用属性定位比层级定位容错性高很多。
• 若还是无法匹配，可尝试用response.selector.remove_namespaces() 先移除命名空间后再执行匹配，排除冷门的命名空间干扰问题。

内容的提问来源于stack exchange，提问作者patricknd90