如何使用Node.js从数千个HTML结构不同的网站中不依赖标签抓取数据

核心工具选型 #

• 网页文本提取用cheerio：可快速剥离HTML中的脚本、样式、标签属性等无关内容，输出干净的纯文本用于后续信息提取，避免非内容类代码干扰匹配结果。
• 轻量NLP处理用natural：内置实体识别、关键词统计能力，无需额外部署重型服务，Node.js环境可直接调用，适配小体量非结构化文本的提取需求。
• 地址结构化解析用address-parser：支持自定义对应国家的地址匹配规则，可直接从纯文本中识别符合邮政规范的地址字符串，比手写正则的覆盖率和准确率更高。

分字段提取实现逻辑 #

邮政地址提取 #

1. 先调用address-parser从纯文本中筛选所有符合本国邮政格式的候选字符串，再通过预设的邮政编码、行政区域关键字规则做二次校验，过滤掉页脚办公地址、收货地址等无关内容。
2. 若当前页面未识别到有效地址，优先从本地已存储的同节日关联数据中匹配补全，无需额外调用外部请求。

举办城市提取 #

1. 提前构建本国全量城市、区县名称的本地字典，从纯文本中匹配所有命中的城市名称，按出现位置做权重排序：与节日名称同段落出现的城市权重最高，活动介绍板块中出现的城市权重次之，页脚、广告位等位置出现的城市权重最低，取权重最高的结果作为最终举办城市，解决多城市误提取问题。
2. 若出现多个同权重候选城市，可和已提取到的邮政地址做交叉验证，取地址中包含的城市作为最终结果。

节日核心主题提取 #

1. 提前构建主题关键词字典，覆盖电影、音乐、舞蹈等目标分类，同时补充对应同义词（如“影展”对应“电影”，“Livehouse演出”对应“音乐”），统计所有关键词在文本中的出现频次，取频次最高的1-3个作为核心主题。
2. 可搭配natural的TF-IDF关键词提取能力，自动识别页面中高频出现的活动类词汇，定期扩充主题字典，降低人工维护成本。

优化方案 #

如果规则类方案的准确率达不到预期，可以接入Node.js可直接调用的轻量本地大模型，通过少量提示词做实体抽取，无需调用外部接口，数据不会外泄，准确率会明显高于纯规则方案。

内容的提问来源于stack exchange，提问作者Leonie