使用Python结合Selenium与BeautifulSoup时如何等待推文加载完成后爬取网页
适配DW页面提取推文链接的Selenium调整方案
核心问题定位
当前代码无法获取元素的本质原因:DW页面中嵌入的Twitter推文组件,全部渲染在独立跨域iframe中。Selenium默认上下文仅覆盖主页面DOM,不会自动进入iframe内部检索节点,此前代码等待的#twitter-widget-0本身就存在于iframe内部,主页面DOM中不存在该节点,导致等待超时后直接跳过流程,无法提取到有效内容。
具体调整步骤
- 放弃写死定位
#twitter-widget-0的逻辑,改为先定位承载Twitter嵌入组件的iframe:匹配规则为iframe的src属性包含platform.twitter.com/embed,这类iframe才是真正承载推文内容的容器 - 等待目标iframe完全可交互后,切换Selenium的上下文到iframe内部,再执行元素等待逻辑
- 补全变量异常捕获逻辑:避免当链接节点没有
href属性时,直接触发未定义变量的报错 - 等待逻辑调整为直接等推文对应的状态链接节点出现,而非等待容器元素加载,进一步提升准确性
调整后的核心代码片段
links = 'https://www.dw.com/en/vaccines-appear-effective-against-india-covid-variant/a-57344037' driver.get(links) delay = 30 # seconds try: # 等待承载Twitter嵌入的iframe加载完成,匹配src含推特嵌入地址的iframe,不写死动态ID WebDriverWait(driver, delay).until( EC.frame_to_be_available_and_switch_to_it( (By.CSS_SELECTOR, "iframe[src*='platform.twitter.com/embed']") ) ) # 在iframe上下文内,等待推文状态链接元素加载完成 WebDriverWait(driver, delay).until( EC.presence_of_element_located( (By.CSS_SELECTOR, "a[href*='twitter.com'][href*='status']") ) ) except: pass # 从当前iframe上下文获取页面源码解析 tweetSource = driver.page_source tweetSoup = BeautifulSoup(tweetSource, features='html.parser') linkTweets = tweetSoup.find_all('a') for linkTweet in linkTweets: tweetURL = "" # 初始化变量,避免无href属性时报未定义错误 try: tweetURL = linkTweet.attrs['href'] except: pass # 仅匹配有效推文状态链接 if "twitter.com" in tweetURL and "status" in tweetURL: tweetID = getTweetID(tweetURL) newdata = [tweetID, date_tag, "DW", links, title_tag, "News", ""] df.loc[len(df)] = newdata print("working on tweetID: " + str(tweetID)) # 处理完成后切回主页面上下文,避免后续操作受iframe上下文影响 driver.switch_to.default_content()
注意事项
- 不要依赖固定的
twitter-widget-x类ID定位元素,这类ID是推特组件动态生成的自增值,不同页面、不同加载顺序下ID会变化,固定写ID的定位方式非常容易失效 - 完成iframe内的元素提取后,必须切回主页面上下文,否则后续的Selenium操作都会局限在推特iframe内部,无法访问主页面的其他元素
- 不要直接用
visibility_of_all_elements_located判断iframe内部元素,部分嵌入推文在折叠状态下是不可见的,用presence_of_element_located判断DOM节点存在即可完成提取
内容的提问来源于stack exchange,提问作者Tamir Oladejo
相关产品推荐
相关产品推荐

