使用DrissionPage的SessionPage无法定位元素，Selenium却正常，求排查

问题描述 #

使用DrissionPage的SessionPage组件无法获取目标元素文本，但Selenium可正常获取；曾在其他网站正常使用SessionPage定位元素，但在当前网站（https://onlyfans.com/u425183820）无法实现，预期获取的元素文本为"Seen Jun 20"（中文："6月20日已查看"）。

用户代码 #

from DrissionPage import SessionPage
import time
page = SessionPage()
page.get('https://onlyfans.com/u425183820')
time.sleep(5)
items = page.ele('xpath://div[@class="b-profile-status mw-100 m-separator g-nowrap d-flex align-items-center justify-content-start"]').text
print(items)

报错信息 #

raise ElementNotFoundError(None, self.method, self.args)
DrissionPage.errors.ElementNotFoundError: 
没有找到元素。
method: ele()
args: {'locator': 'xpath://div[@class="b-profile-status mw-100 m-separator g-nowrap d-flex align-items-center justify-content-start"]', 'index': 1}

原因分析 #

• 页面渲染方式差异：SessionPage基于HTTP请求获取静态HTML，不会执行JavaScript；而OnlyFans的页面内容是通过JS动态渲染生成的，初始静态HTML里没有目标元素，所以SessionPage找不到。Selenium模拟真实浏览器，会执行JS渲染完整页面，自然能定位到元素。
• 网站反爬机制：OnlyFans可能对非浏览器发起的请求做了拦截或内容篡改，返回的静态HTML与浏览器看到的页面结构不一致，导致目标元素缺失。
• 定位依赖的元素属性变化：你用的XPath依赖完整的class属性列表，SessionPage获取的静态HTML中该元素的class可能和浏览器渲染后的不同，或者元素结构本身就有差异。

解决方法 #

1. 改用ChromiumPage组件 #

ChromiumPage基于浏览器内核，能像Selenium一样渲染动态页面，代码修改如下：

from DrissionPage import ChromiumPage
import time

page = ChromiumPage()
page.get('https://onlyfans.com/u425183820')
time.sleep(5)
items = page.ele('xpath://div[@class="b-profile-status mw-100 m-separator g-nowrap d-flex align-items-center justify-content-start"]').text
print(items)

2. 替换固定等待为元素等待 #

避免使用固定time.sleep()，改用超时等待元素出现，提升稳定性：

from DrissionPage import ChromiumPage
from DrissionPage.errors import ElementNotFoundError

page = ChromiumPage()
page.get('https://onlyfans.com/u425183820')
try:
    # 最多等待10秒直到元素出现
    target_ele = page.ele('xpath://div[@class="b-profile-status mw-100 m-separator g-nowrap d-flex align-items-center justify-content-start"]', timeout=10)
    print(target_ele.text)
except ElementNotFoundError:
    print("超时未找到目标元素，请检查页面结构或网络状态")

3. 验证静态HTML内容 #

如果想确认SessionPage获取的内容是否包含目标元素，可以保存源码查看：

from DrissionPage import SessionPage

page = SessionPage()
page.get('https://onlyfans.com/u425183820')
# 将页面源码保存到本地文件
with open('onlyfans_source.html', 'w', encoding='utf-8') as f:
    f.write(page.html)

打开生成的onlyfans_source.html文件，搜索目标元素的class或文本，若不存在则说明是动态加载或反爬导致的内容缺失。

内容的提问来源于stack exchange，提问作者user23448952