如何在Node.js中可靠提取分析竞品网站的JSON-LD Schema标记？

我正在开发一款竞品分析工具，核心需求是自动从竞品网站提取JSON-LD Schema这类结构化数据，替代手动逐个检查URL页面源码的方式。

目前我用Node.js结合cheerio实现了基础提取逻辑，简化代码如下：

const axios = require('axios');
const cheerio = require('cheerio');

async function extractSchemas(url) {
    const { data } = await axios.get(url);
    const $ = cheerio.load(data);

    const schemas = [];

    $('script[type="application/ld+json"]').each((_, el) => {
        try {
            const json = JSON.parse($(el).html());
            schemas.push(json);
        } catch (err) {
            console.error('Invalid JSON-LD found');
        }
    });

    return schemas;
}

extractSchemas('https://example.com')
    .then(console.log);

但这个方案遇到了几个实际问题：

• 部分页面的JSON-LD格式错误，直接导致解析失败
• 有些Schema块是数组形式或包含嵌套的@graph对象，需要做标准化处理才能统一使用
• 部分网站的Schema是页面加载后动态注入的，静态HTML抓取完全拿不到这些数据

我希望得到以下几方面的建议：

• Schema提取与验证的最佳实践
• 安全处理格式错误的结构化数据的方法
• 大规模爬取场景下的高效解析策略
• 是否值得用无头浏览器处理动态渲染的Schema

欢迎有SEO爬虫、Schema验证器或大规模网页爬取开发经验的人士给出实际建议。

内容的提问来源于stack exchange，提问作者Hannah Brooks