Scrapy中使用索引获取字段时遇空值引发IndexError的解决方法

针对你遇到的IndexError问题，本质是当页面中对应索引的<span>元素不存在时，直接用[1]访问SelectorList会触发异常。这里有几种实用的解决方案：

方法一：先提取所有文本到列表，安全索引 #

最直观的方式是先把所有匹配的<span>文本提取成列表，再通过判断列表长度来避免索引越界：

def parse(self, response):
    for text in response.css('div.row'):
        # 一次性获取所有span的文本，无匹配则返回空列表
        span_texts = text.css('div.item span::text').getall()
        yield {
            'product': text.css('div.item a.item::text').get(default=''),
            # 列表长度足够就取对应索引，否则用默认空字符串
            'test1': span_texts[0] if len(span_texts) >= 1 else '',
            'test2': span_texts[1] if len(span_texts) >= 2 else '',
        }

这种方法的优势是代码简洁易读，一次提取所有数据后统一处理，避免多次调用CSS选择器，效率也更高。

方法二：利用迭代器和next()函数的默认参数 #

Scrapy的SelectorList是可迭代对象，我们可以结合next()函数的默认参数来安全获取指定位置的元素：

def parse(self, response):
    for text in response.css('div.row'):
        spans = text.css('div.item span::text')
        yield {
            'product': text.css('div.item a.item::text').get(default=''),
            # 取第一个span的文本，无匹配则返回空字符串
            'test1': next((s.get() for s in spans), ''),
            # 从第二个span开始迭代，取第一个匹配的文本，无则返回空字符串
            'test2': next((s.get() for s in spans[1:]), ''),
        }

这里通过生成器表达式逐个获取每个Selector的文本，next()会返回第一个结果，若迭代器为空则返回指定的默认值，完美规避了索引越界问题。

方法三：用try-except捕获异常 #

如果只需要针对个别字段做处理，也可以直接捕获IndexError异常，给字段赋值默认值：

def parse(self, response):
    for text in response.css('div.row'):
        # 先初始化基础字段
        item = {
            'product': text.css('div.item a.item::text').get(default=''),
        }
        spans = text.css('div.item span::text')
        
        # 处理test1字段
        try:
            item['test1'] = spans[0].get(default='')
        except IndexError:
            item['test1'] = ''
        
        # 处理test2字段
        try:
            item['test2'] = spans[1].get(default='')
        except IndexError:
            item['test2'] = ''
            
        yield item

这种方法逻辑最直接，适合字段较少的场景，缺点是代码相对繁琐一些。

个人最推荐第一种方法，代码整洁且效率更高，能很好地解决你的问题。

内容的提问来源于stack exchange，提问作者TijnvdEijnde