网站受保护文本复制失败：Xpath等定位方式报错求助

尝试复制某网站受保护文本时，用Xpath、name、tag定位元素均报错，错误信息：

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id="my id"]"}

网站自带“复制”按钮，点击可复制文本，且网站提示“不再担心垃圾邮件、广告邮件、黑客和机器人攻击”，怀疑是反爬机制导致定位失败。

• 等待元素加载：用显式等待替代固定延时，确保元素完全渲染后再定位，避免因加载时序问题报错。示例代码：

  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 等待10秒，直到元素可点击
  wait = WebDriverWait(driver, 10)
  copy_btn = wait.until(EC.element_to_be_clickable((By.XPATH, "//*[@id='my id']")))
  copy_btn.click()
  

• 检查iframe嵌套：如果目标元素在iframe框架内，需先切换到对应框架再进行定位操作：

  # 按iframe的id切换上下文
  driver.switch_to.frame("iframe_id")
  # 执行元素定位、点击操作...
  # 操作完成后切回主文档
  driver.switch_to.default_content()
  

• 模拟人类行为绕过反爬：
  • 给浏览器添加真实的User-Agent，伪装成普通用户浏览器：

    from selenium.webdriver.chrome.options import Options
    
    options = Options()
    options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
    driver = webdriver.Chrome(options=options)
    

  • 加入随机延时、页面滚动、随机点击无关联元素等操作，模拟人类浏览习惯，降低被判定为机器人的概率。
• 直接调用复制接口：用浏览器开发者工具抓包，找到点击“复制”按钮时触发的后端API接口，直接请求接口获取文本内容，跳过前端元素定位环节。
• 执行JS脚本操作：如果页面是JS动态生成的元素，可通过执行原生JS脚本直接操作元素或获取文本：

  # 执行JS点击复制按钮
  driver.execute_script("document.getElementById('my id').click();")
  # 或者直接提取目标文本
  target_text = driver.execute_script("return document.getElementById('text_container').textContent;")
  

内容的提问来源于stack exchange，提问作者Mikaela Karolina Pagnoncelli