使用Beautiful Soup 4访问div元素style属性出现KeyError问题求助

问题触发原因 #

1. 静态页面与渲染后DOM不一致：浏览器开发者工具中显示的DOM结构是页面所有JavaScript执行完成后的最终渲染结果，而requests.get()只能获取到服务器返回的未经过JS执行的原始静态HTML。TMDB这类站点的style属性大概率是页面加载阶段由JS动态添加到对应div上的，静态HTML中该属性不存在，直接读取就会触发KeyError。
2. 反爬拦截导致元素未匹配：如果请求头没有配置正确的User-Agent、Cookie等参数，站点会返回反爬错误页面，此时soup.find()无法匹配到目标div，返回None后直接取['style']也会触发异常。

修复方案 #

• 先增加校验逻辑，避免直接取值触发异常，同时确认静态页面的实际内容：

import requests
import bs4

# 补全真实浏览器的User-Agent，绕过基础反爬校验
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36"
}
url = 'https://www.themoviedb.org/movie/595743-sas-red-notice'
response = requests.get(url, headers=headers)
soup = bs4.BeautifulSoup(response.text, 'html.parser')
target_div = soup.find("div", class_="header large border first")

if target_div:
    # 先检查属性是否存在再读取
    if 'style' in target_div.attrs:
        header_image_style = target_div['style']
    else:
        print("目标style属性为JS动态生成，静态爬取无法获取")
else:
    print("未匹配到目标div，请求被反爬拦截")

• 若确认style属性为动态生成，更换为支持JS渲染的爬虫工具（如Selenium、Playwright）加载完整页面后再提取属性即可。

内容的提问来源于stack exchange，提问作者bazmattaz