iframe内嵌#document无法访问 如何爬取srnovelas站点视频真实地址

IFrame内部#document节点访问方法 #

• 普通静态页面爬虫仅能拉取主页面原始HTML，IFrame属于独立的浏览上下文，内部的#document节点不会嵌入主页面DOM，因此无法直接定位访问
• 使用支持浏览器上下文模拟的工具（Selenium、Playwright、Puppeteer）可解决该问题：先定位到页面中的IFrame元素，执行上下文切换操作后即可正常读取IFrame内部的DOM元素
  • Playwright参考代码：video_frame = page.frame_locator("iframe[src*=视频域名关键字]")
  • Selenium参考代码：driver.switch_to.frame(driver.find_element(By.CSS_SELECTOR, "iframe"))

目标站点真实视频地址获取实现 #

你遇到的映射地址无权限、点击播放才加载视频的问题，是站点做了动态加载和请求来源校验，直接请求IFrame的原始src会因为缺少合法Referer被拦截，可通过以下流程实现任意剧集地址解析：

1. 接收用户输入的剧集URL，用Playwright无头模式启动浏览器加载该页面
2. 定位到页面中的视频IFrame，切换到对应上下文
3. 模拟点击IFrame内的播放按钮，等待2秒左右直到video标签加载完成
4. 直接提取video标签的src属性，即为真实播放地址
5. 若需请求该地址，携带请求头Referer: https://srnovelas.com/即可绕过来源校验

补充：该方案不需要逆向站点接口，适配性强，站点前端结构不变的情况下可兼容所有剧集的地址解析。

内容的提问来源于stack exchange，提问作者Mohammad Fahad