如何使用BeautifulSoup/Selenium获取Twitch主播当前正在玩的游戏？

原有代码问题 #

1. 没有等待页面异步内容加载完成就提取页面源码，Twitch的直播信息是JS动态渲染的，刚打开页面时源码不存在对应元素
2. CSS选择器写法错误，a data-a-target匹配的是a标签下的data-a-target子标签，实际需要匹配带data-a-target属性的指定a标签

实现代码 #

方案1：纯Selenium实现（无需BeautifulSoup，效率更高） #

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置无头模式，后台运行无浏览器窗口
chrome_options = Options()
chrome_options.add_argument("--headless=new")

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.twitch.tv/xqcow')

try:
    # 最长等待10秒，直到游戏名称元素加载完成
    game_elem = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'a[data-a-target="stream-game-link"]'))
    )
    print(game_elem.text.strip())
except:
    # 捕获超时异常，对应主播未开播/元素不存在的情况
    print("主播未开播或未设置游戏信息")
finally:
    driver.quit()

方案2：兼容你原有BeautifulSoup用法的修改版 #

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

chrome_options = Options()
chrome_options.add_argument("--headless=new")

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.twitch.tv/xqcow')

try:
    # 先等元素加载完成再提取页面源码
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, 'a[data-a-target="stream-game-link"]'))
    )
    html = driver.page_source
    soup = BeautifulSoup(html, features="html.parser")
    # 修正选择器，匹配对应属性的a标签
    game_elem = soup.select_one('a[data-a-target="stream-game-link"]')
    print(game_elem.text.strip())
except:
    print("主播未开播或未设置游戏信息")
finally:
    driver.quit()

补充说明 #

• 用到的a[data-a-target="stream-game-link"]是Twitch官方标注的游戏链接定位属性，比类名稳定性更高，不容易随页面改版失效
• 代码里的异常捕获可以处理主播未开播、网络加载慢等异常场景，你可以根据自己的需求调整异常处理逻辑

内容的提问来源于stack exchange，提问作者John Anthony