基于模板的HTML转JSON解析技术方案咨询

核心技术方向 #

1. Node.js生态下的成熟工具 #

• Cheerio + 自定义模板引擎
  Cheerio是轻量级jQuery风格HTML解析库，适合快速遍历DOM。可以用JSON配置文件定义选择器与字段的映射规则，示例：

  // 模板配置示例
  const template = {
    "personName": "div.person-name"
  };
  // 解析逻辑
  const $ = cheerio.load(htmlContent);
  const result = {};
  Object.keys(template).forEach(key => {
    result[key] = $(template[key]).text().trim();
  });
  

• Puppeteer + 模板配置
  若需处理动态渲染的HTML（如SPA页面），Puppeteer可模拟浏览器加载页面后再提取数据。同样支持通过模板配置映射选择器与字段，适配复杂场景。
• XPath方案升级：xpath + htmlparser2
  你之前关注的XPath方案至今仍适用，搭配高性能解析库htmlparser2可提升处理效率。通过模板定义XPath表达式与对应JSON字段，示例：

  const { parseDocument } = require('htmlparser2');
  const { select } = require('xpath');
  const doc = parseDocument(htmlContent);
  const template = {
    "personName": "//div[contains(@class, 'person-name')]/text()"
  };
  const result = {};
  Object.keys(template).forEach(key => {
    const nodes = select(template[key], doc);
    result[key] = nodes.length ? nodes[0].nodeValue.trim() : '';
  });
  

2. 低代码/无代码模板化工具 #

• Apify：提供可视化页面提取模板配置，支持批量处理，适配静态与动态页面，适合非开发人员或快速迭代场景。
• ParseHub：可视化提取工具，可通过点击元素生成提取规则，直接导出JSON格式结果，适配多组不同HTML格式的处理需求。

优化建议 #

• 针对60多组不同格式，建议将每组的提取模板单独存为JSON文件，便于维护和批量执行。
• 追求批量处理性能时，优先选择Cheerio或htmlparser2这类非浏览器解析库，避免Puppeteer的性能开销。
• 可添加字段校验逻辑，确保提取后的JSON数据符合预期格式。

内容的提问来源于stack exchange，提问作者Rob