爬虫问题：如何从含伪元素(::after)的span标签提取位置文本？

1. 伪元素::after的内容不存在于原始HTML源码中，是浏览器通过CSS渲染生成的，BeautifulSoup只能解析服务器返回的HTML文本，因此直接调用location.text无法获取到伪元素内容。
2. 你的选择器re.compile("text$")可能匹配范围过宽，或者部分符合条件的<span>本身不包含有效位置信息，加上并非所有父div都有目标标签，导致无输出。

方案一：检查HTML自定义属性（优先尝试） #

多数网站会将伪元素的内容存储在<span>的自定义属性中（比如data-location、data-content），再通过CSS的content: attr(xxx)渲染成::after内容。你可以通过浏览器F12查看目标元素的属性，比如HTML结构可能是：

<div class="parent-container">
  <span class="address-text" data-location="Lagos,Lekki"></span>
</div>

对应修改代码提取属性值：

import requests
from bs4 import BeautifulSoup
import re    

url = 'https://your-target-website'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')

# 先定位包含位置的父div（替换成实际父div的class/特征）
parent_divs = soup.find_all("div", class_="parent-container")
for div in parent_divs:
    # 在父div内查找目标span
    location_span = div.find("span", class_=re.compile("text$"))
    if location_span:
        # 提取自定义属性，根据实际情况修改属性名
        location = location_span.get("data-location")
        if location:
            print(location)

方案二：用浏览器渲染工具（处理JS动态内容） #

如果位置内容是JS动态生成的，或者伪元素content由JS控制，那么requests+BeautifulSoup无法获取渲染后的内容，需要用Selenium模拟浏览器：

1. 先安装依赖：

pip install selenium

2. 下载对应浏览器的驱动（比如ChromeDriver），编写代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
import time

# 替换为你的ChromeDriver路径
driver = webdriver.Chrome(service=Service("path/to/chromedriver"))
driver.get('https://your-target-website')
time.sleep(2)  # 等待页面加载完成

# 定位所有符合条件的span
location_spans = driver.find_elements(By.CSS_SELECTOR, "span[class$='text']")
for span in location_spans:
    # 通过JS获取元素::after的计算样式内容
    after_content = driver.execute_script("""
        return window.getComputedStyle(arguments[0], '::after').getPropertyValue('content');
    """, span)
    # 去除可能存在的引号
    after_content = after_content.strip('"')
    if after_content:
        print(after_content)

driver.quit()

• 先用浏览器F12确认目标元素的父div特征（比如特定class），缩小查找范围，避免匹配无关元素。
• 检查目标<span>的CSS规则，确认::after的content来源是属性还是固定文本。

内容的提问来源于stack exchange，提问作者Kelly