使用BeautifulSoup爬取Stack Overflow搜索结果报IndexError如何解决

问题原因 #

• 核心触发点是BeautifulSoup在返回的HTML中没有匹配到对应class的div节点，findAll返回空列表，对空列表取索引[0]就会抛出IndexError。
• 你在浏览器中能看到对应节点，是因为Stack Overflow做了反爬拦截：未携带合法请求头的爬虫请求会被返回人机验证页/异常响应，没有正常的搜索结果DOM结构，和你浏览器中带正常请求头返回的页面完全不同。

解决方法 #

1. 首先添加请求头伪装浏览器身份，最基础的是携带User-Agent字段
2. 增加判空逻辑，避免直接取索引抛出异常
3. 排查阶段可以打印返回的状态码和页面内容，快速确认是否被反爬拦截

修改后可运行的代码示例 #

import asyncio
import aiohttp
from bs4 import BeautifulSoup

url = "https://stackoverflow.com/search?q=%22python+help%22"
# 模拟Chrome浏览器的请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}

async def scrape():
    async with aiohttp.ClientSession() as session:
        async with session.get(url, headers=headers) as r:
            # 先判断状态码是否正常
            if r.status != 200:
                print(f"请求异常，状态码：{r.status}")
                return
            html = await r.read()
            soup = BeautifulSoup(html, features="lxml")
    
    # 先匹配再判空，避免IndexError
    result_list = soup.findAll("div", {"class": "flush-left js-search-results"})
    if not result_list:
        # 排查时可以取消注释打印html内容，确认返回的是否是正常页面
        # print(html.decode('utf-8'))
        print("未匹配到搜索结果节点")
        return
    questions = result_list[0]
    # 后续可以继续处理questions的内容

asyncio.run(scrape())

内容的提问来源于stack exchange，提问作者earningjoker430