Scrapy如何通过自定义属性值选择元素进行数据抓取？

当然可行，Scrapy的CSS选择器完全支持通过自定义属性值定位元素，和你用类选择器的用法逻辑一致，只是语法上换成属性选择器即可。

针对你给出的示例HTML：

<div data-testid="total-count">We found 45 offers</div>

对应的Scrapy代码写法是：

response.css('div[data-testid="total-count"]::text').get()

执行这段代码就能获取到We found 45 offers这段文本。

另外属性选择器还有更多灵活的匹配方式，比如：

• 匹配所有带有data-testid属性的div：div[data-testid]
• 匹配data-testid值以total开头的div：div[data-testid^="total"]
• 匹配data-testid值以count结尾的div：div[data-testid$="count"]

这些写法在需要更宽泛的元素定位时都能派上用场。

内容的提问来源于stack exchange，提问作者dymek662