Python脚本爬取消防培训视频链接遇Cloudflare邮箱混淆问题求助

问题根因 #

Cloudflare的邮箱混淆是反爬手段之一，会把页面里的邮箱或部分链接做编码处理，Selenium直接提取元素内容时拿到的是混淆后的编码值，而非真实链接。

实操解决方法 #

1. 等待页面完全渲染后再操作 #

Cloudflare的混淆内容需要JS动态解码，必须确保页面所有脚本执行完毕：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 替换成你视频板块容器的定位器（比如ID、类名）
wait = WebDriverWait(driver, 10)
video_container = wait.until(EC.presence_of_element_located((By.CLASS_NAME, "video-container")))

2. 解码Cloudflare的编码内容 #

如果链接被包装成带data-cfemail属性的元素，用以下逻辑还原真实链接：

def decode_cf(cf_code):
    # 还原Cloudflare的编码逻辑
    key = int(cf_code[:2], 16)
    real_content = ''.join([chr(int(cf_code[i:i+2], 16) ^ key) for i in range(2, len(cf_code), 2)])
    return real_content

# 定位所有被混淆的元素
cf_links = video_container.find_elements(By.CSS_SELECTOR, "[data-cfemail]")
for link in cf_links:
    cf_code = link.get_attribute("data-cfemail")
    real_link = decode_cf(cf_code)
    print("真实视频链接：", real_link)
    # 要播放的话直接调用driver.get(real_link)即可

3. 模拟真人操作规避检测 #

Cloudflare会识别非人类操作，添加几个简单动作：

• 平滑滚动到视频板块位置：

driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth'});", video_container)

• 随机等待2-5秒，模拟浏览页面的时间：

import time
import random
time.sleep(random.uniform(2, 5))

4. 用JS直接获取真实链接 #

如果是普通a标签的href被混淆，不要用link.get_attribute("href")，改用JS提取真实属性：

real_href = driver.execute_script("return arguments[0].href;", link_element)

5. 换用反检测浏览器驱动 #

如果以上方法无效，试试undetected-chromedriver，它能绕过大部分Cloudflare检测：

from undetected_chromedriver import Chrome

# 初始化浏览器，后续登录、访问逻辑和原代码一致
driver = Chrome()

内容的提问来源于stack exchange，提问作者RyanD