使用Beautiful Soup的findAll方法时如何提取标签内的文本内容

触发IndexError: list index out of range是因为执行[0]索引取值时，find_all返回的是空列表，常见诱因有两个：

• 页面是动态渲染的，执行解析代码时目标价格标签还没加载完成，Selenium拿到的page_source里还没有对应元素
• 两次调用find_all的间隔中页面发生了刷新、跳转，第二次执行匹配时页面上已经没有对应class的标签

第一步：加显式等待确保元素加载完成 #

不要在页面跳转/打开后立刻解析源码，先等目标元素渲染完成再做解析，从根源避免空列表问题：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup

# 最多等待10秒，直到所有价格标签加载完成
WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.CLASS_NAME, 'search-result__market-price--value'))
)

第二步：安全提取标签内的价格文本 #

不要直接硬取索引[0]，先判断匹配结果非空再做提取，优先用兼容性更好的get_text()方法取文本，不要用.string（遇到标签嵌套会返回None）：

soup = BeautifulSoup(driver.page_source, 'html.parser')
price_tags = soup.find_all(class_='search-result__market-price--value')

price_result = []
if price_tags: # 确认列表非空再操作，彻底避免索引报错
    for tag in price_tags:
        # strip=True自动去掉文本前后的空格、换行，直接拿到干净的$0.11这类内容
        price_text = tag.get_text(strip=True)
        # 如果需要纯数值格式，去掉$符号转成浮点型即可
        price_num = float(price_text.replace('$', ''))
        price_result.append(price_num)

print(price_result)

运行后会直接输出格式干净的价格列表：[0.11, 0.24, ...]

• 不要重复调用find_all做同规则匹配，第一次匹配到结果就存到变量里复用，避免页面变动导致匹配结果不一致
• 取单个指定位置的元素前，一定要先判断列表长度大于对应索引值，比如取第一个元素前先判断len(price_tags) > 0，再取price_tags[0]

内容的提问来源于stack exchange，提问作者small_potato