使用BeautifulSoup时如何处理div数量变化导致的索引取值报错问题

先获取所有匹配.foo .bar规则的元素集合，对目标索引做合法性判断，索引超出集合长度时直接返回空值即可，避免索引越界报错。

常用技术栈实现示例 #

JavaScript 场景（浏览器脚本、Puppeteer/Playwright 等） #

// 获取所有bar元素集合
const barList = Array.from(document.querySelectorAll('.foo .bar'));
// 封装按索引取值的方法，不存在返回null
function getBarByIndex(index) {
  return index < barList.length ? barList[index] : null;
}

// 示例：取索引3的元素提取数据，不存在自动返回空字符串
const targetBar = getBarByIndex(3);
const aVal = targetBar ? targetBar.querySelector('.a').textContent.trim() : '';
const bVal = targetBar ? targetBar.querySelector('.b').textContent.trim() : '';
const cVal = targetBar ? targetBar.querySelector('.c').textContent.trim() : '';

Python + BeautifulSoup 场景 #

from bs4 import BeautifulSoup

# 假设soup为已解析的页面DOM对象
bar_list = soup.select('.foo .bar')

def get_bar_by_index(index):
    return bar_list[index] if index < len(bar_list) else None

# 示例取值
target_bar = get_bar_by_index(3)
a_val = target_bar.select_one('.a').text.strip() if target_bar else ''
b_val = target_bar.select_one('.b').text.strip() if target_bar else ''
c_val = target_bar.select_one('.c').text.strip() if target_bar else ''

Python + Scrapy 场景 #

# 假设response为请求返回的响应对象
bar_list = response.css('.foo .bar')

def get_bar_by_index(index):
    return bar_list[index] if index < len(bar_list) else None

target_bar = get_bar_by_index(3)
# Scrapy的.get方法原生支持传入默认值，无需额外判断元素是否存在
a_val = target_bar.css('.a::text').get('').strip() if target_bar else ''
b_val = target_bar.css('.b::text').get('').strip() if target_bar else ''
c_val = target_bar.css('.c::text').get('').strip() if target_bar else ''

如果需要固定返回4组数据，直接遍历0-3的索引依次调用取值方法即可，不足4个的位置会自动补空。

内容的提问来源于stack exchange，提问作者Raspberry Lemon