如何通过Selenium获取需点击触发的隐藏元素内容？

关键逻辑 #

你遇到的问题本质是隐藏元素需要交互触发才会渲染/显示，直接抓初始页面的静态源码肯定找不到。必须先模拟点击按钮，等元素加载出来后再提取内容。

具体实现步骤 #

1. 先等按钮加载完成再点击
   别直接硬定位按钮，加个等待避免元素未加载报错：

   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   from selenium.webdriver.common.by import By
   
   # 等待按钮可点击，最多等10秒
   button = WebDriverWait(driver, 10).until(
       EC.element_to_be_clickable((By.CSS_SELECTOR, 'button.sc-hRJfrW.esGfor'))
   )
   button.click()
   

2. 等待目标元素出现再提取
   点击按钮后，目标元素可能是从隐藏变为可见，或者动态生成的，所以要等它显示出来：

   # 等待目标div可见
   target_div = WebDriverWait(driver, 10).until(
       EC.visibility_of_element_located((By.CSS_SELECTOR, 'div.sc-klVQfs.coyika'))
   )
   # 提取里面的社交链接（假设是a标签）
   social_links = target_div.find_elements(By.TAG_NAME, 'a')
   for link in social_links:
       print(link.get_attribute('href'))
   

3. 不知道元素位置的通用筛选方法
   如果一开始不知道目标div的选择器，点击按钮后可以直接筛选页面里的社交链接，靠域名特征来识别：

   # 点击按钮后获取所有a标签
   all_links = driver.find_elements(By.TAG_NAME, 'a')
   # 常见社交平台域名列表，可按需补充
   social_domains = ['twitter.com', 'discord.com', 'telegram.org', 'github.com', 'linkedin.com']
   for link in all_links:
       href = link.get_attribute('href')
       if href and any(domain in href for domain in social_domains):
           print(href)
   

为什么之前的方法没用？ #

• driver.page_source（你写的get_source_page应该是笔误）只能拿到页面刚加载时的静态源码，点击按钮后的动态内容不会更新进去。
• 直接拿body的outerHTML也一样，元素还没渲染/显示的话，根本不在DOM里，自然抓不到。

内容的提问来源于stack exchange，提问作者Vladislav Vladislav