如何基于文本条件在Scrapy中抓取特定行后的HTML表格数据？

完全可以实现，核心思路是以包含指定文本的行作为定位锚点，动态选取它之后的表格内容，摆脱固定表格索引或行号的限制，适配不同页面的结构差异。

具体实现方案 #

1. 定位锚点行：先找到包含文本Client/s on whose behalf lobbying activity is, or may be, conducted的行元素
2. 提取后续行数据：基于锚点行，选取其之后的所有表格行（根据页面嵌套结构调整XPath逻辑）

示例代码 #

# 定位到包含目标文本的锚点行
anchor_row = response.xpath('//tr[contains(., "Client/s on whose behalf lobbying activity is, or may be, conducted")]')

# 获取锚点行之后的所有兄弟行（即客户表格的行）
client_rows = anchor_row.xpath('./following-sibling::tr')

# 遍历行提取有效数据
for row in client_rows:
    # 提取单元格文本并清洗空内容
    client_info = [text.strip() for text in row.xpath('.//td/text()').getall() if text.strip()]
    if client_info:
        # 这里可以将数据存入Item或进行后续处理
        print(client_info)

适配嵌套表格的补充写法 #

如果客户表格是锚点行所在表格的下一个同级表格，可以用以下逻辑定位：

# 找到锚点行所在的父表格，再选取其后续第一个表格（即客户表格）
client_table = anchor_row.xpath('./ancestor::table/following-sibling::table[1]')
client_rows = client_table.xpath('.//tr')

调试建议 #

可以用Scrapy Shell测试XPath表达式，比如执行scrapy shell "目标页面URL"，然后逐步验证锚点行、后续行的定位是否准确，避免因页面细节差异导致的定位失败。

内容的提问来源于stack exchange，提问作者Greation