爬取含指定关键词的网页段落:无重复、不依赖p标签的实现方案
网页关键词区块无重复爬取实现方案
现有实现的核心问题
- 重复抓取的直接原因:代码按单个搜索词循环做正则匹配,同一段文本如果同时包含多个搜索词,就会被每个词分别命中一次,多次拼接到最终结果里
- 正则匹配的固有缺陷:固定截取关键词前后各100字符,完全不管文本本身的语义边界,很容易把完整段落切得支离破碎,也没法保证抓到的是完整段落
优化思路
整个逻辑拆成两步,从根源解决两个痛点:
- 不依赖p标签的完整段落提取:HTML里的正文段落本质上都是由块级元素承载的,不用死盯p标签。可以遍历所有通用块级元素,跳过嵌套了子块级节点的冗余父容器,把每个独立块级元素的文本内容提取出来作为一个完整的语义单元,不管网站用什么标签放正文,只要是块级结构就能被识别。
- 无重复的关键词筛选:把提取到的所有独立文本块先做去重缓存,再逐个判断文本块是否包含任意一个搜索关键词,只要命中就保留。不会像原来那样按单个关键词循环匹配,从流程上杜绝同一段文本被多次抓取的问题。
可运行实现代码
from urllib.request import Request, urlopen from bs4 import BeautifulSoup # 收集所有常见的块级标签,不用死死盯着p标签 BLOCK_TAGS = { "article", "section", "div", "li", "blockquote", "h1", "h2", "h3", "h4", "h5", "h6", "p" } def extract_keyword_blocks(url, search_words, min_text_length=20): req = Request(url, headers={"User-Agent": 'Mozilla/5.0'}) page = urlopen(req, timeout=5) html_parse = BeautifulSoup(page.read(), 'lxml') # 提取独立的文本块,自动去重 text_blocks = set() for tag in html_parse.find_all(BLOCK_TAGS): # 跳过嵌套了其他块级元素的父节点,避免把大段容器的冗余文本抓进来 if tag.find(BLOCK_TAGS): continue block_text = tag.get_text(strip=True) # 过滤太短的无意义文本,比如按钮、导航项 if len(block_text) >= min_text_length: text_blocks.add(block_text) # 筛选带关键词的文本块,整个过程不重复遍历单个关键词 matched_blocks = [] for block in text_blocks: # 一次性判断当前块是不是包含任意一个搜索词,命中就保留 has_keyword = any(word.lower() in block.lower() for word in search_words) if has_keyword: matched_blocks.append(block) return matched_blocks # 直接运行测试 if __name__ == "__main__": target_url = "https://www.un.org/africarenewal/news/drought-pushing-food-prices-sharply-east-africa" search_words = ["drought", "water", "food"] result = extract_keyword_blocks(target_url, search_words) for idx, block in enumerate(result, 1): print(f"匹配到的第{idx}段内容:{block}\n")
方案效果
- 重复问题完全解决:代码不再按单个关键词做遍历匹配,而是以独立文本块为单位做一次命中判断,哪怕一个段落同时命中3个搜索词,也只会被收录一次
- 摆脱p标签依赖:块级元素集合里兼容了绝大多数站点用来放正文的标签,不管是div、li还是自定义的块组件,都能被识别,不会出现因为站点不用p标签就抓不到正文的情况
- 粒度可灵活调整:可以根据目标站点的结构,增删块级元素列表,设置最短文本长度阈值,过滤掉导航、按钮等零散的短文本干扰
小提示:针对不同的目标站点,可以适当扩充块级元素的识别范围,比如部分站点会用自定义组件标签放正文,把这些标签名补充到块级集合里,就能进一步提升段落识别的准确率。
内容的提问来源于stack exchange,提问作者CrossLord
相关产品推荐
相关产品推荐

