如何在Scrapy中使用Python获取select标签的option值？

嘿，作为Scrapy新手碰到这种选择器问题太正常啦，我来帮你搞定～

首先得指出你当前代码的问题：response.css('select::attr(name:Department)').extract()这个写法完全不符合Scrapy CSS选择器的语法，而且方向也错了——你要的是<select>下<option>的value属性，不是和select的name属性做这种奇怪的绑定。

正确的实现方法 #

这里给你两种常用的方式，都能得到你想要的['CSC', 'IT', 'MCA', 'BE']结果：

方法1：使用CSS选择器

首先选中name为Department的<select>，再定位它下面的所有<option>，提取它们的value属性，最后过滤掉空值：

# 先获取所有option的value，再过滤空字符串
department_values = [val for val in response.css('select[name="Department"] option::attr(value)').extract() if val]

方法2：使用XPath

XPath在处理这种层级属性提取时也很直观，写法如下：

# 同样过滤空值得到目标结果
department_values = [val for val in response.xpath('//select[@name="Department"]/option/@value').extract() if val]

为什么你的代码不对？ #

你写的select::attr(name:Department)是错误的语法：

• ::attr()的括号里只能填单个属性名，比如select::attr(name)是获取<select>的name属性值（也就是Department），但这不是你要的内容。
• 你需要遍历<select>下的子元素<option>，而不是直接操作<select>本身的属性。

运行上面的正确代码后，就能精准得到你期望的非空value列表啦～

内容的提问来源于stack exchange，提问作者smviswa