You need to enable JavaScript to run this app. 使用Python结合Selenium与BeautifulSoup时如何等待推文加载完成后爬取网页
优惠活动
大模型
产品
解决方案
定价
更多

使用Python结合Selenium与BeautifulSoup时如何等待推文加载完成后爬取网页

适配DW页面提取推文链接的Selenium调整方案

核心问题定位

当前代码无法获取元素的本质原因:DW页面中嵌入的Twitter推文组件,全部渲染在独立跨域iframe中。Selenium默认上下文仅覆盖主页面DOM,不会自动进入iframe内部检索节点,此前代码等待的#twitter-widget-0本身就存在于iframe内部,主页面DOM中不存在该节点,导致等待超时后直接跳过流程,无法提取到有效内容。

具体调整步骤

  • 放弃写死定位#twitter-widget-0的逻辑,改为先定位承载Twitter嵌入组件的iframe:匹配规则为iframe的src属性包含platform.twitter.com/embed,这类iframe才是真正承载推文内容的容器
  • 等待目标iframe完全可交互后,切换Selenium的上下文到iframe内部,再执行元素等待逻辑
  • 补全变量异常捕获逻辑:避免当链接节点没有href属性时,直接触发未定义变量的报错
  • 等待逻辑调整为直接等推文对应的状态链接节点出现,而非等待容器元素加载,进一步提升准确性

调整后的核心代码片段

links = 'https://www.dw.com/en/vaccines-appear-effective-against-india-covid-variant/a-57344037'
driver.get(links)
delay = 30  # seconds

try:
    # 等待承载Twitter嵌入的iframe加载完成,匹配src含推特嵌入地址的iframe,不写死动态ID
    WebDriverWait(driver, delay).until(
        EC.frame_to_be_available_and_switch_to_it(
            (By.CSS_SELECTOR, "iframe[src*='platform.twitter.com/embed']")
        )
    )
    # 在iframe上下文内,等待推文状态链接元素加载完成
    WebDriverWait(driver, delay).until(
        EC.presence_of_element_located(
            (By.CSS_SELECTOR, "a[href*='twitter.com'][href*='status']")
        )
    )
except:
    pass

# 从当前iframe上下文获取页面源码解析
tweetSource = driver.page_source
tweetSoup = BeautifulSoup(tweetSource, features='html.parser')
linkTweets = tweetSoup.find_all('a')

for linkTweet in linkTweets:
    tweetURL = ""  # 初始化变量,避免无href属性时报未定义错误
    try:
        tweetURL = linkTweet.attrs['href']
    except:
        pass
    # 仅匹配有效推文状态链接
    if "twitter.com" in tweetURL and "status" in tweetURL:
        tweetID = getTweetID(tweetURL)
        newdata = [tweetID, date_tag, "DW", links, title_tag, "News", ""]
        df.loc[len(df)] = newdata
        print("working on tweetID: " + str(tweetID))

# 处理完成后切回主页面上下文,避免后续操作受iframe上下文影响
driver.switch_to.default_content()

注意事项

  • 不要依赖固定的twitter-widget-x类ID定位元素,这类ID是推特组件动态生成的自增值,不同页面、不同加载顺序下ID会变化,固定写ID的定位方式非常容易失效
  • 完成iframe内的元素提取后,必须切回主页面上下文,否则后续的Selenium操作都会局限在推特iframe内部,无法访问主页面的其他元素
  • 不要直接用visibility_of_all_elements_located判断iframe内部元素,部分嵌入推文在折叠状态下是不可见的,用presence_of_element_located判断DOM节点存在即可完成提取

内容的提问来源于stack exchange,提问作者Tamir Oladejo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 08:15:03