使用Selenium爬取Facebook链接时仅获#，hover后才显示真实链接的问题

问题背景 #

爬取Facebook内容时，部分链接元素初始加载的href属性是#，只有鼠标悬停后，真实链接才会被动态注入到href中。

问题原因 #

Facebook通过延迟加载策略（或反爬机制），将这类链接的初始href设为占位符#，仅当用户触发鼠标悬停事件时，才会执行JavaScript生成并替换为真实的链接地址。

解决方案 #

用Selenium模拟鼠标悬停触发事件，等待链接更新后再提取：

1. 定位目标元素：用准确的选择器定位到初始href为#的链接元素
2. 模拟鼠标悬停：通过ActionChains触发hover事件，触发链接加载逻辑
3. 等待链接更新：用显式等待确保href已替换为真实值
4. 提取真实链接：获取更新后的href属性

代码示例（Python） #

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 初始化浏览器
driver = webdriver.Chrome()
driver.get("目标Facebook页面的URL")

# 替换成你实际的元素定位方式（比如xpath、CSS选择器）
target_link = driver.find_element(By.XPATH, "//a[@href='#'][contains(@class, 'post-link-class')]")

# 模拟鼠标悬停
ActionChains(driver).move_to_element(target_link).perform()

# 等待href变为非#的真实链接，超时10秒
wait = WebDriverWait(driver, 10)
updated_link = wait.until(
    EC.presence_of_element_located((By.XPATH, "//a[not(@href='#')][contains(@class, 'post-link-class')]"))
)

# 提取真实链接
real_href = updated_link.get_attribute("href")
print(real_href)

driver.quit()

注意事项 #

• 定位元素时要确保选择器足够精准，避免匹配到其他无关的href为#的元素
• 若页面加载较慢，可适当延长显式等待的超时时间
• Facebook反爬机制严格，操作时建议添加随机等待间隔，避免触发账号限制或验证码

内容的提问来源于stack exchange，提问作者Karthick S