使用bs4爬取YouTube无法获取ytd-app标签内视频标题如何解决

问题原因 #

你遇到的不是代码逻辑错误，也不是YouTube特意针对这类标签做反爬，核心原因是YouTube的核心页面内容全部靠客户端JavaScript动态渲染生成：你用requests直接请求拿到的是初始静态HTML，这时候<ytd-app>标签内的内容、所有带style-scope类名的元素都还没生成，所以find_all返回空列表是正常现象。

正确获取标题的方法 #

方案1：直接提取静态页元数据（最简单，不需要模拟浏览器） #

YouTube的静态HTML里已经提前埋了页面核心元数据，不需要解析动态渲染元素就可以直接拿到标题，两种常用实现：

• 提取<title>标签内容，去掉固定后缀即可

import bs4
import requests

listed_url = "https://www.youtube.com/watch?v=9IfT8KXX_9c&list=PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v&index=31"
resp = requests.get(listed_url)
soup = bs4.BeautifulSoup(resp.text, "html.parser")

title = soup.title.text.removesuffix(" - YouTube")
print(title)

• 提取og:title公开元数据，没有多余内容，更精准

title = soup.find("meta", property="og:title")["content"]
print(title)

方案2：用支持JS渲染的工具爬取（适合需要更多动态内容的场景） #

如果你需要获取评论、实时点赞数这类只有动态渲染后才有的内容，可以用selenium、playwright这类模拟浏览器的工具，等页面完全加载后再解析DOM，就能正常定位到ytd-video-primary-info-renderer类的元素。

额外说明 #

YouTube确实有完备的反爬机制，但你这次遇到的问题不属于反爬拦截。如果需要高频抓取，要注意控制请求频率，否则会触发验证码、IP封禁等限制。

内容的提问来源于stack exchange，提问作者professional dummy