基于PyTorch实现任意网页FAQ板块问答提取的可行性咨询

结论先行 #

当然可以用机器学习替代正则方案，而且能解决你现在遇到的「适配性差」问题，大幅提升生效场景的覆盖率。

具体落地路径 #

• 训练专属问答识别模型：收集一批不同网站的FAQ页面，人工标注其中的「问题」和「回答」段落，用这些数据微调BERT、RoBERTa这类预训练语言模型。这类模型能学会FAQ的文本逻辑——比如问题多为疑问句、带有明确主题指向，回答是紧跟其后的解释内容，哪怕网页标签写法千变万化，模型也能准确区分。
• 结合网页结构特征：不用完全抛弃HTML信息，把标签层级（比如<h2>大概率对应问题标题，<p>对应回答内容）作为辅助特征喂给模型，能进一步提升识别准确率。
• 零样本快速适配：如果不想花精力标注数据，可以用GPT、FLAN-T5这类零样本模型。直接给模型传入网页文本，同时给出提示：「把这段内容里的FAQ问答对提取出来，每一对按『问题：XXX\n回答：XXX』的格式输出」，不用训练也能适配大部分常见的FAQ页面。
• 简单后处理收尾：提取完后用基础规则做清洗，比如过滤导航栏、广告这类无关文本，去掉重复的问答对，让结果更规整。

对比正则的核心优势 #

• 不用针对每个网站写定制化规则，模型自动学习不同网站的FAQ排版逻辑
• 对网页结构变更的容错性更强，哪怕网站改了标签样式，只要文本还是FAQ逻辑，就能正常提取
• 能处理复杂结构的FAQ，比如带多级子问题、分段回答的场景

内容的提问来源于stack exchange，提问作者Sandeep Gupta