为何BeautifulSoup无法获取og:image元数据，Facebook调试工具可行且重试偶成功？

使用requests+BeautifulSoup爬取TikTok短链接的og:image元标签时，有时会返回content为空的结果，但社交平台调试工具能正常获取完整内容，且多次重试请求偶尔能成功。有人认为是JS渲染问题，但无法解释重试成功的现象，具体情况如下：

爬取代码 #

from bs4 import BeautifulSoup
import requests
 
html = requests.get("https://vt.tiktok.com/ZSLvos3x2/").text
soup = BeautifulSoup(html, 'html.parser')

image = soup.find("meta",  {"property":"og:image"})
print(image)

失败返回结果 #

<meta content="" data-rh="true" property="og:image"/>

正常获取到的完整内容 #

<meta property="og:image" content="https://p16-sign-va.tiktokcdn.com/tos-maliva-p-0068/e025f28037a84ad4b86d9437ba70ad2d_1683178221~tplv-photomode-video-share-card:1200:630:20.jpeg?x-expires=1695362400&amp;x-signature=MNuRNoO2lAxX61zDfuqG5mKnI74%3D">

重试代码片段 #

try_count = 1
not_get_data = True
while (try_count <= 5 and not_get_data):
    print('Try:', try_count)
    html = requests.get(url=url).text
    soup = BeautifulSoup(html, 'lxml')

核心原因分析 #

1. 服务端条件渲染
   TikTok服务器会根据请求的UA（用户代理）、请求头特征、IP或访问频次等维度，判断请求来源是否为信任的爬虫/平台。社交平台调试工具使用的UA和请求头更接近搜索引擎或正规平台的特征，所以服务器会直接返回完整的元数据；而requests默认UA为python-requests/x.x.x，被识别为非信任爬虫，服务器有时返回未填充内容的模板，有时因规则宽松通过验证，导致重试偶尔成功。

2. 概率性反爬策略
   TikTok的反爬系统采用概率拦截机制：对可疑请求（如异常UA、高频请求）随机返回不完整内容，而非完全阻断。这就导致多次重试时，部分请求恰好避开拦截规则，能拿到完整数据。

3. 并非纯JS渲染问题
   如果是纯客户端JS渲染，所有请求都应返回空content，不可能出现重试成功的情况。本质是服务端根据请求上下文动态生成内容，而非客户端JS后续加载。

解决方案建议 #

• 伪装请求头：设置UA为浏览器或爬虫友好的标识（如Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)），同时添加Accept、Referer等常见头信息，模拟正规请求。
• 控制请求频率：避免短时间内多次请求，降低被识别为恶意爬虫的概率。
• 使用专用工具：如requests-html支持简单JS渲染，Playwright可完全模拟浏览器行为，不过针对此场景，伪装请求头通常已足够。

内容的提问来源于stack exchange，提问作者Ooker