iframe.getElementsByTagName("a")时部分链接未被捕获问题排查

现有代码漏抓目标链接的核心原因有三个：

• 未等待iframe加载完成就抓取内部DOM
  获取iframe节点后立刻读取contentDocument抓取a标签的逻辑存在时序问题：zeit.de的订阅推广、同意弹窗类iframe本身就是主页面加载完成后才异步注入、异步渲染内容的，函数执行时目标iframe的内部DOM还没生成，自然抓不到对应的a标签。
• 未递归处理多层嵌套iframe
  现有逻辑仅遍历主文档直接挂载的一级iframe，如果目标链接所在的iframe是嵌在其他iframe内部的多级嵌套节点，遍历逻辑完全无法触达。
• 未捕获iframe访问异常，易导致遍历整体中断
  原有if(doc)的判断逻辑存在缺陷：如果iframe跨源，访问contentDocument会直接抛出跨域安全错误，不会返回空值，代码会直接中断，既不会触发你写的错误提示，后续所有iframe的遍历也会终止。

你通过Chrome DevTools确认存在的目标订阅链接，对应位置参考：
DevTools中iframe内目标链接截图
该链接属于站点异步加载的 consent 推广弹窗iframe，通常在页面首次加载后1-3秒才会渲染完成，部分部署场景下会放在嵌套iframe内，刚好命中上述三个逻辑缺陷。

修正逻辑覆盖了加载等待、递归遍历、异常捕获三个核心问题，代码如下：

async function GetTheLinks() {
    const linksArray = [];
    // 递归爬取单个文档内的所有链接、以及文档内可访问的iframe内容
    async function crawlDocument(doc) {
        // 用querySelectorAll获取静态节点快照，避免动态集合导致的遍历异常
        const links = doc.querySelectorAll("a");
        links.forEach(link => {
            linksArray.push(link.innerHTML);
            linksArray.push(link.innerText);
            linksArray.push(link.href);
        });
        // 遍历当前文档下所有iframe
        const frames = doc.querySelectorAll("iframe");
        for (const frame of frames) {
            // 等待iframe加载完成，加超时兜底避免永久等待
            await new Promise(resolve => {
                if (frame.contentDocument?.readyState === "complete") return resolve();
                frame.addEventListener("load", resolve, { once: true });
                setTimeout(resolve, 5000);
            });
            // 捕获跨域等访问异常，单个iframe访问失败不中断整体流程
            try {
                const frameDoc = frame.contentDocument;
                if (frameDoc) await crawlDocument(frameDoc);
            } catch (e) {
                console.warn("Skip inaccessible cross-origin iframe");
            }
        }
    }
    await crawlDocument(document);
    return linksArray;
}

如果需要捕获页面运行过程中动态插入的新iframe，可以搭配MutationObserver监听DOM树变动，发现新挂载的iframe节点后自动触发爬取逻辑补抓链接即可。

内容的提问来源于stack exchange，提问作者tmighty