如何在Scrapy中通过XPath获取指定索引tbody节点内的tr、td元素

你之前的写法混淆了Python列表切片语法和XPath路径表达式的语法边界：

• response.xpath('//tbody')[8] 的执行逻辑是：先用XPath扫描整个文档匹配所有tbody节点，将结果转为Python的Selector对象列表，再通过Python的0起始列表索引[8]取出对应节点。这一步执行完成后，已经退出XPath的解析范围。
• 斜杠/是XPath内部的路径分隔符，不能脱离XPath解析环境，直接在Python代码层用来拼接标签路径。你写的response.xpath('//tbody')[8]/tr.get() 会被Python直接解析为“对索引8的Selector对象执行除以名为tr的变量的运算，再调用运算结果的get()方法”，因为tr这个变量根本不存在，所以直接抛出NameError，和XPath路径解析完全没关系。

正确实现方式 #

你可以根据场景选择以下两种写法：

写法1：全链路纯XPath定位 #

直接把索引逻辑整合到XPath表达式里，一次定位完成。这里需要特别注意索引计数差异：

• Python列表是0起始计数，你之前取的[8]位置的节点，对应XPath里的第9个匹配项（XPath的位置谓词从1开始计数）
• 定位代码示例：
  • 取目标tbody下所有tr：response.xpath('//tbody[9]//tr').getall()
  • 取目标tbody下所有td：response.xpath('//tbody[9]//td').getall()
  • 其中//tr代表匹配节点下所有层级的tr标签，如果只需要匹配直接子级的tr，就写/tr

写法2：拆分两次XPath调用 #

如果需要单独保存目标tbody节点做后续处理，可以先取出节点对应的Selector对象，再对该对象单独调用.xpath()方法追加内部路径：

• 第一步先拿到目标tbody对象：target_tbody = response.xpath('//tbody')[8]
• 第二步在该对象的范围内追加路径定位元素：
  • 取直接子级tr：target_tbody.xpath('./tr').getall()
  • 取所有层级td：target_tbody.xpath('.//td').getall()
• 这里的前缀.代表当前节点范围，./是当前节点的直接子级路径，.//是当前节点下所有层级的匹配路径，不能省略。

常见踩坑提醒 #

• 不要混用两种索引的计数规则：Python列表切片[n]是从0开始数，XPath内置的位置谓词[n]是从1开始数，错配会导致定位到错误的节点
• 对已经取出的Selector对象做路径追加时，必须通过.xpath()方法传入XPath表达式，不能直接在Selector对象后用斜杠拼接标签名

内容的提问来源于stack exchange，提问作者JC23