Scrapy爬取电商页面：缺失折扣class时填充0/空值的方法

这个问题我太熟悉啦！你现在的问题根源是直接全局提取所有折扣元素，但部分商品没有.prd_discount这个类，导致提取的折扣列表长度和价格列表不一致。要解决这个问题，核心思路是按单个商品的容器逐个处理，每个商品单独判断是否存在折扣，不存在就填充默认值（0或空字符串）。

具体实现步骤 #

1. 先获取所有商品的父容器：页面中每个.prd_p_section对应一个商品的价格区块，我们先把所有这些区块提取出来。
2. 遍历每个商品容器，单独提取折扣：对每个容器使用.get()方法提取折扣（.get()会返回单个匹配结果，没有匹配到则返回None），并通过default参数指定默认值。
3. 收集结果：这样每个商品都会在结果列表中占据一个位置，完美匹配价格列表的长度。

代码示例 #

常规循环写法 #

# 获取所有商品的价格区块
product_sections = response.css('.prd_p_section')

# 初始化折扣列表
discount_list = []
for section in product_sections:
    # 提取折扣，没有则填充0，想要空值就把default改成''
    discount = section.css('.prd_discount::text').get(default=0)
    discount_list.append(discount)

print(discount_list)
# 输出结果：['20% Off', '19% Off', '27% Off', 0]

简洁的列表推导式写法 #

如果喜欢更简洁的代码，可以用列表推导式一行搞定：

discount_list = [
    section.css('.prd_discount::text').get(default=0) 
    for section in response.css('.prd_p_section')
]

为什么原来的方法不行？ #

你之前用的response.css('.prd_discount::text').extract()是全局抓取所有匹配的元素，没有折扣的商品不会在结果中生成一个占位值，所以最终列表长度会比价格列表短。而按商品容器遍历的方式，每个商品不管有没有折扣，都会在列表中留一个位置，彻底解决长度不匹配的问题。

内容的提问来源于stack exchange，提问作者dragoneye07