You need to enable JavaScript to run this app. 爬取含指定关键词的网页段落:无重复、不依赖p标签的实现方案
优惠活动
大模型
产品
解决方案
定价
更多

爬取含指定关键词的网页段落:无重复、不依赖p标签的实现方案

网页关键词区块无重复爬取实现方案

现有实现的核心问题

  • 重复抓取的直接原因:代码按单个搜索词循环做正则匹配,同一段文本如果同时包含多个搜索词,就会被每个词分别命中一次,多次拼接到最终结果里
  • 正则匹配的固有缺陷:固定截取关键词前后各100字符,完全不管文本本身的语义边界,很容易把完整段落切得支离破碎,也没法保证抓到的是完整段落

优化思路

整个逻辑拆成两步,从根源解决两个痛点:

  • 不依赖p标签的完整段落提取:HTML里的正文段落本质上都是由块级元素承载的,不用死盯p标签。可以遍历所有通用块级元素,跳过嵌套了子块级节点的冗余父容器,把每个独立块级元素的文本内容提取出来作为一个完整的语义单元,不管网站用什么标签放正文,只要是块级结构就能被识别。
  • 无重复的关键词筛选:把提取到的所有独立文本块先做去重缓存,再逐个判断文本块是否包含任意一个搜索关键词,只要命中就保留。不会像原来那样按单个关键词循环匹配,从流程上杜绝同一段文本被多次抓取的问题。

可运行实现代码

from urllib.request import Request, urlopen
from bs4 import BeautifulSoup

# 收集所有常见的块级标签,不用死死盯着p标签
BLOCK_TAGS = {
    "article", "section", "div", "li", "blockquote", 
    "h1", "h2", "h3", "h4", "h5", "h6", "p"
}

def extract_keyword_blocks(url, search_words, min_text_length=20):
    req = Request(url, headers={"User-Agent": 'Mozilla/5.0'})
    page = urlopen(req, timeout=5)
    html_parse = BeautifulSoup(page.read(), 'lxml')
    
    # 提取独立的文本块,自动去重
    text_blocks = set()
    for tag in html_parse.find_all(BLOCK_TAGS):
        # 跳过嵌套了其他块级元素的父节点,避免把大段容器的冗余文本抓进来
        if tag.find(BLOCK_TAGS):
            continue
        block_text = tag.get_text(strip=True)
        # 过滤太短的无意义文本,比如按钮、导航项
        if len(block_text) >= min_text_length:
            text_blocks.add(block_text)
    
    # 筛选带关键词的文本块,整个过程不重复遍历单个关键词
    matched_blocks = []
    for block in text_blocks:
        # 一次性判断当前块是不是包含任意一个搜索词,命中就保留
        has_keyword = any(word.lower() in block.lower() for word in search_words)
        if has_keyword:
            matched_blocks.append(block)
    
    return matched_blocks

# 直接运行测试
if __name__ == "__main__":
    target_url = "https://www.un.org/africarenewal/news/drought-pushing-food-prices-sharply-east-africa"
    search_words = ["drought", "water", "food"]
    result = extract_keyword_blocks(target_url, search_words)
    for idx, block in enumerate(result, 1):
        print(f"匹配到的第{idx}段内容:{block}\n")

方案效果

  • 重复问题完全解决:代码不再按单个关键词做遍历匹配,而是以独立文本块为单位做一次命中判断,哪怕一个段落同时命中3个搜索词,也只会被收录一次
  • 摆脱p标签依赖:块级元素集合里兼容了绝大多数站点用来放正文的标签,不管是div、li还是自定义的块组件,都能被识别,不会出现因为站点不用p标签就抓不到正文的情况
  • 粒度可灵活调整:可以根据目标站点的结构,增删块级元素列表,设置最短文本长度阈值,过滤掉导航、按钮等零散的短文本干扰

小提示:针对不同的目标站点,可以适当扩充块级元素的识别范围,比如部分站点会用自定义组件标签放正文,把这些标签名补充到块级集合里,就能进一步提升段落识别的准确率。

内容的提问来源于stack exchange,提问作者CrossLord

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 19:15:01