如何从iframe标签及widget组件爬取数据？Scrapy/Selenium爬取遇阻

你当前的核心问题是未处理iframe的上下文切换——Selenium打开主页面后，iframe内部属于独立的文档环境，直接获取page_source无法访问iframe里的元素；Scrapy默认也不会自动加载并解析iframe的内容。

针对你需要的{'rating':2.3,'reviews':3}格式结果，给出修正后的可行方案：

核心步骤：切换到iframe上下文后再提取数据 #

首先要定位到目标iframe，切换到它的上下文环境，才能获取内部的评分和评论元素。

修正后的Python代码（Selenium直接提取） #

# 假设driver已完成初始化
self.driver.get(url)

# 等待iframe加载完成（必须用显式等待，避免元素未加载完成）
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 替换成你页面中实际的iframe定位规则（比如通过src、id、xpath）
wait = WebDriverWait(self.driver, 10)
target_iframe = wait.until(EC.presence_of_element_located(
    (By.XPATH, "//iframe[contains(@src, 'widget-loader')]")
))

# 切换到iframe的上下文
self.driver.switch_to.frame(target_iframe)

# 提取评分
rating = float(self.driver.find_element(By.CSS_SELECTOR, ".tp-widget-summary__rating .rating").text)
# 提取评论数
review_count = int(self.driver.find_element(By.CSS_SELECTOR, ".tp-widget-summary__count strong").text)

# 组装成目标格式
result = {'rating': rating, 'reviews': review_count}

# 若后续需操作主页面元素，切回默认上下文
self.driver.switch_to.default_content()

结合Scrapy Selector的写法 #

如果想用Scrapy的选择器解析iframe内容，可以在切换到iframe后，把页面源码传给Selector：

# 切换到iframe后获取页面源码
iframe_html = self.driver.page_source
from scrapy import Selector
sel = Selector(text=iframe_html)

# 用Scrapy选择器提取数据
rating = float(sel.css(".tp-widget-summary__rating .rating::text").get())
review_count = int(sel.css(".tp-widget-summary__count strong::text").get())
result = {'rating': rating, 'reviews': review_count}

关键注意事项 #

• 必须等待iframe加载完成，用显式等待替代硬编码sleep，避免元素查找失败
• 确认iframe的定位规则正确，可通过浏览器开发者工具查看iframe的id、src等属性
• 操作完iframe内容后，记得切回主页面上下文（switch_to.default_content()），避免后续元素定位出错

内容的提问来源于stack exchange，提问作者Developer