使用Selenium WebDriver获取Billboard榜单页面源码不全问题求助

Billboard Hot 100页面采用滚动懒加载机制——只有当页面滚动到对应区域时，靠前的榜单内容才会被动态渲染出来。你当前的代码没有触发滚动加载逻辑，所以只能获取到初始加载的后半部分内容。

解决方案 #

通过滚动页面触发全部内容加载，再等待元素渲染完成后获取源码。修改后的代码如下：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Chrome浏览器
s = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=s)
url = "https://www.billboard.com/charts/hot-100/"
driver.get(url)

# 执行JS滚动到页面底部，触发懒加载
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

# 显式等待所有榜单元素加载完成，超时时间15秒
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'li.o-chart-results-list__item')))

# 获取完整页面源码
print(driver.page_source)

# 关闭浏览器
driver.quit()

关键说明 #

• window.scrollTo(0, document.body.scrollHeight)：通过JavaScript强制滚动到页面最底部，触发页面加载剩余的榜单内容
• 显式等待WebDriverWait：比隐式等待更精准，确保所有榜单项都已渲染完成后再操作
• 若页面结构有变动，可调整CSS选择器为当前页面的榜单项元素选择器

内容的提问来源于stack exchange，提问作者N_A