如何通过web scraping获取OOV词汇相关文本优化text classification模型

你可以按照以下步骤落地，无需提前确定固定爬取站点：

• 用搜索引擎精准检索语法做入口定位
  给OOV词汇添加双引号做完全匹配检索，可搭配辅助关键词缩小范围：比如查询释义就加「是什么」「定义」「含义」，查询相关资讯就加「新闻」「报道」，需要限定领域时可搭配site:语法定向到对应领域的站点域名范围，不需要预设具体单站。
• 按OOV类型匹配通用内容源池
  不同类型的OOV有固定的高相关内容域，直接把OOV作为搜索关键词传入对应站点的公开搜索接口即可获取内容：
  • 企业名称类OOV：定向对接企业信息公示平台、行业资讯站、招聘平台的搜索接口，爬取返回结果中的企业介绍、业务说明、相关报道内容
  • 网络俚语类OOV：定向对接网络词典、梗科普平台、主流社交平台的搜索接口，爬取返回结果中的俚语释义、使用语境相关文本
  • 拼写错误类OOV：先通过拼写纠错工具生成候选正确词，再爬取候选词的相关文本，同步可爬取UGC平台、输入法公开词库的相近表述做语义对齐
  • 未知类型OOV：优先爬取百科类站点搜索结果，无匹配结果时再爬取综合资讯、UGC平台的全量搜索结果，通过语义聚类过滤无关内容
• 写通用搜索爬虫降低适配成本
  用无头浏览器模拟普通用户的搜索行为，将OOV作为关键词传入通用搜索引擎，自动提取前N页搜索结果的页面正文，无需针对单个站点写解析规则，可借助readability类工具批量提取网页正文，再做去重、广告过滤即可拿到可用的相关文本。
• 注意爬取合规性
  爬取过程中遵守目标站点的robots协议，控制请求频率，不爬取涉及用户隐私的非公开内容。

内容的提问来源于stack exchange，提问作者Clock Slave