运行BeautifulSoup报IndexError: list index out of range，爬取Investopedia股价失败如何解决

错误原因 #

你触发IndexError: list index out of range的直接原因是soup.find_all('div', {'class':'tv-symbol-price-quote__value js-symbol-last'})返回了空列表，你直接访问下标[0]才触发越界。
根本原因是：Investopedia的股价数据属于前端JavaScript动态渲染内容，你在浏览器开发者工具里看到的DOM结构是页面加载完成后，JS异步请求数据后插入到页面的，而requests库只能获取服务端返回的原始静态HTML，不会执行页面的JS代码，所以原始HTML里根本不存在你要找的class属性对应的div元素。

你可以自行验证：在你的代码中soup = BeautifulSoup(response.text, 'lxml')行后新增以下代码，输出结果肯定为False：

print('tv-symbol-price-quote__value js-symbol-last' in response.text)

可行解决方案 #

推荐两种方案解决动态内容爬取问题：

方案1：使用支持JS渲染的爬虫工具 #

比如Selenium、Playwright这类工具会启动真实浏览器内核，加载页面并执行JS，拿到最终渲染完成的DOM结构，再提取数据即可。
以下是Selenium的示例代码（需要先安装selenium和对应浏览器驱动）：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

def investopedia():
    chrome_options = Options()
    # 无头模式，不弹出浏览器窗口
    chrome_options.add_argument("--headless=new")
    chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0")
    driver = webdriver.Chrome(options=chrome_options)
    ticker = 'TSLA'
    url = f'https://www.investopedia.com/markets/quote?tvwidgetsymbol={ticker.lower()}'
    driver.get(url)
    # 等待JS渲染完成
    time.sleep(2)
    ip_price = driver.find_element(By.CSS_SELECTOR, 'div.tv-symbol-price-quote__value.js-symbol-last span').text
    print(ip_price)
    driver.quit()

investopedia()

方案2：抓包获取数据接口 #

打开浏览器开发者工具的网络面板，筛选XHR/ Fetch请求，找到页面实际请求股价数据的接口，直接调用接口拿结构化数据，效率比渲染页面更高，不需要启动浏览器。

内容的提问来源于stack exchange，提问作者Andrew