Python爬虫如何获取:before伪元素的CSS值？需提取背景图片URL

首先明确：BeautifulSoup这类HTML解析库直接拿不到:before伪元素的样式，因为伪元素是浏览器渲染阶段生成的，并不存在于原始HTML文档中，你用soup.select('div','css-1swthbg:before')无效就是这个原因。

下面给两种可行的解决方案：

方案1：解析页面CSS文本提取 #

如果目标伪元素的样式定义在页面的<style>标签或外部CSS文件中，可以直接解析CSS代码来提取：

1. 先安装cssutils库：

pip install cssutils

2. 示例代码：

import cssutils
from bs4 import BeautifulSoup
import requests

# 替换成目标网页的URL
target_url = "你的目标网页地址"
resp = requests.get(target_url)
soup = BeautifulSoup(resp.text, "html.parser")

# 收集页面中所有<style>标签的内容
style_content = ""
for style_tag in soup.find_all("style"):
    if style_tag.string:
        style_content += style_tag.string + "\n"

# 解析CSS文本
css_sheet = cssutils.parseString(style_content)
for rule in css_sheet:
    if isinstance(rule, cssutils.css.CSSStyleRule):
        # 匹配目标伪元素的选择器
        if rule.selectorText == ".css-1swthbg:before":
            bg_img_value = rule.style.getPropertyValue("background-image")
            # 提取URL（去除url()包裹和引号）
            if bg_img_value.startswith("url("):
                bg_url = bg_img_value[4:-1].strip('\'"')
                print("提取到的背景图片URL：", bg_url)

方案2：用无头浏览器渲染后获取 #

如果样式是动态生成（比如通过JS修改），或者依赖浏览器环境才能计算出最终样式，就需要用无头浏览器模拟渲染，再获取计算后的样式。以Selenium为例：

1. 安装依赖库并下载对应浏览器驱动：

pip install selenium

（需根据你使用的浏览器下载对应驱动，比如Chrome的chromedriver，确保驱动版本和浏览器版本匹配）

2. 示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By

# 初始化浏览器驱动（这里以Chrome为例）
driver = webdriver.Chrome()
driver.get("你的目标网页地址")

# 定位到伪元素所属的原始元素
target_element = driver.find_element(By.CSS_SELECTOR, "div.css-1swthbg")

# 通过JS获取:before伪元素的计算样式
bg_img_value = driver.execute_script("""
    return window.getComputedStyle(arguments[0], ':before').getPropertyValue('background-image');
""", target_element)

# 提取URL
if bg_img_value.startswith("url("):
    bg_url = bg_img_value[4:-1].strip('\'"')
    print("提取到的背景图片URL：", bg_url)

# 关闭浏览器
driver.quit()

两种方案对比：

• 方案1不需要启动浏览器，速度更快，但仅适用于样式静态定义的场景；
• 方案2能处理动态渲染的样式，兼容性更强，但因为要启动浏览器，速度稍慢。

内容的提问来源于stack exchange，提问作者Koean-2358