使用requests和BeautifulSoup4解析YouTube视频标题遇问题求助

YouTube目前采用客户端JavaScript渲染页面内容，你用requests.get()获取的只是服务器返回的初始HTML骨架，此时那些带有style-scope ytd-video-primary-info-renderer类的<span>元素还没被浏览器的JS引擎生成出来，所以BeautifulSoup自然找不到这些动态渲染的元素。

而print(soup.text)能看到预期内容，是因为视频标题这类核心信息会被放在页面的静态Meta标签（比如og:title）里，这些标签属于初始HTML的一部分，会被包含在soup.text的文本内容中。

方法1：直接解析静态Meta标签获取标题 #

不需要依赖动态渲染的元素，直接从初始HTML的Meta标签提取标题，代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.youtube.com/watch?v=h_Gto4lAV58'
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')

# 解析og:title标签获取标题
title_tag = soup.find('meta', property='og:title')
if title_tag:
    print(title_tag['content'])

# 或者解析title标签（可能包含" - YouTube"后缀）
title_tag = soup.find('title')
if title_tag:
    print(title_tag.text)

方法2：使用浏览器渲染工具获取动态内容 #

如果需要获取更多动态渲染的页面元素，可以用Selenium这类工具模拟浏览器加载页面，等待JS渲染完成后再解析：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = 'https://www.youtube.com/watch?v=h_Gto4lAV58'
driver = webdriver.Chrome()  # 需要提前安装ChromeDriver并配置环境变量
driver.get(url)

# 等待标题元素加载完成
title_element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, 'span.style-scope.ytd-video-primary-info-renderer'))
)
print(title_element.text)

driver.quit()

内容的提问来源于stack exchange，提问作者Ihor Kovt